读书人

Hadoop SequcenceFile 处置多个小文件

发布时间: 2012-10-07 17:28:51 作者: rapoo

Hadoop SequcenceFile 处理多个小文件

利用sequenceFile打包多个小文件,MapFile是sequenceFile的排序形式,程序如下:

?

KeXie@KeXie-PC ~/hadoop-0.20.2$ hadoop fs -cat soutputSEQorg.apache.hadoop.io.Textorg.apache.hadoop.io.Text*org.apache.hadoop.io.compress.DefaultCodec?A?=??=U?2?,a.txtx???L?,*??,,M????<?A#b.txtx??L?H???y?\???y?\@6n:c.txtx??+*??,,M????%??KeXie@KeXie-PC ~/hadoop-0.20.2$ hadoop fs -text soutputa.txt   xie     chen     liangquanb.txt   chen    chen    wenanwenc.txt   mo     anan
?

?

读书人网 >编程

热点推荐