一个pig例子(REGEX_EXTRACT_ALL, DBStorage)
Pig是hadoop下的一个子项目,简化了hadoop的编程。Pig的语法很干净,高效,言简意赅,5-6行pig语句就能完成五六十行java代码能做的事情,相当地高效。今天写了一个简单例子来学习pig.
Pig语法参考官方文档
http://pig.apache.org/docs/r0.11.0/index.html
或好心人整理的中文教程
http://www.codelast.com/?p=4550
Pig版本 0.11.0
需求: 抓取文本里的时间,并存入mysql数据库
文本片段:
pig -x local -f test.pig -param INPUT=test.txt
成功运行后,数据成功load到数据库。
mysql> select * from cnet.test;
+-------------------+
| string |
+-------------------+
| 03/17/13 00:00:00 |
| 03/17/13 00:00:03 |
| 03/17/13 00:00:03 |
| 03/17/13 00:00:03 |
+-------------------+
4 rows in set (0.00 sec)