q语言:用SQL查询CSV文件数据

机器学习 1160 Views

数盟倡导”数据创造价值“,致力于打造最卓越的数据科学交流平台,为企业、个人提供最卓越的服务】

q是一个命令行工具,它支持在CSV以及TSV等表格类文件中执行类似SQL的查询。q可以把普通文档当作数据库表处理,并且支持 WHERE、GROUP BY、JOIN等语法,但暂时不支持WHERE内的子查询。q支持自动类型推导。目前q在GitHub获得1900+的关注量,当然版本为1.4.0。

q本身是一个使用Python编写的内存数据库,使用也非常简单,基本没有学习成本,只要把之前写数据库表的地方换为对应的文件地址即可,比如:

q -H -t “SELECT COUNT(DISTINCT(uuid)) FROM ./clicks.csv”

具体的使用方法以及例子读者可以移步官网详细了解。

q是一个简单而高效的小工具,亮点是便捷,所以未过多关注性能方面的问题,当前也只适合处理小数据,在使用时需要注意q暂时不支持处理文件名中带空格的文件。目前q的官网上提供了Mac、Windows、Debian、CentOS等系统的安装文件,感兴趣的读者请自行下载安装。

作者 郭蕾

from:http://www.infoq.com/cn/news/2014/10/q-run-sql-on-csv

—————————————————

数盟网站:www.dataunion.org

数盟微博:@数盟社区

数盟微信:DataScientistUnion

数盟【大数据群】272089418

数盟【数据可视化群】 179287077

数盟【数据分析群】 174306879 ,110875722 ,321311420

—————————————————

更多精彩,点击可得~

如未说明则本站原创,转载请注明出处:NULL » q语言:用SQL查询CSV文件数据