配置hadoop使用lzo对中间数据进行压缩

分3步完成
1.需要使用root安装liblzo动态链接库
#root
cp ./lib64/liblzo2.so.2.0.0? /lib64
cd /lib64/
ln -s liblzo2.so.2.0.0 liblzo2.so
ln -s liblzo2.so.2.0.0 liblzo2.so.2
--检查下是否拷贝进去了
ls -l /lib64|grep lzo|wc -l
3

2.hive用户安装gpl jar包和本地库

su - username
--jar
cp ?./hadoop-gpl-compression-0.1.0-dev.jar ?$HADOOP_HOME/lib
-- local library
cp ? ./Linux-amd64-64.tar?? $HADOOP_HOME/lib/native
cp ?./Linux-i386-32.tar?? $HADOOP_HOME/lib/native

cd $HADOOP_HOME/lib/native

tar -xf Linux-amd64-64.tar
tar -xf Linux-i386-32.tar

ls -l Linux-amd64-64|wc -l
ls -l Linux-i386-32|wc -l

3.修改两个配置文件
cd $HADOOP_CONF_DIR

修改hadoop配置文件 $HADOOP_CONF_DIR/core-site.xml
<property>?
? <name>io.compression.codecs</name>?
? <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value>?
</property>?
<property>?
? <name>io.compression.codec.lzo.class</name>?
? <value>com.hadoop.compression.lzo.LzoCodec</value>?
</property>
?
?
修改hadoop配置文件?$HADOOP_CONF_DIR/mapred-site.xml (包含慢启动)
? <property>
??? <name>mapred.reduce.slowstart.completed.maps</name>
??? <value>0.3</value>
? </property>
? <property>?
??? <name>mapred.compress.map.output</name>?
??? <value>true</value>?
? </property>?
? <property>?
??? <name>mapred.map.output.compression.codec</name>?
??? <value>com.hadoop.compression.lzo.LzoCodec</value>?
? </property>??