Hadoop使用lzo压缩输出
Hadoop处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。
参考了网上不少资料,发现综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。lzo最初在google code上托管,但后来转移到github了,所以以github为准。地址为:
http://blog.csdn.net/kalaamong/article/details/7275185
发布时间: 2012-09-19 13:43:54 作者: rapoo
Hadoop使用lzo压缩输出
Hadoop处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。
参考了网上不少资料,发现综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。lzo最初在google code上托管,但后来转移到github了,所以以github为准。地址为:
http://blog.csdn.net/kalaamong/article/details/7275185