小文件合并

文件数目过多，增加namenode的压力，hdfs的压力，同时需要更多map进程，影响处理效率。可以通过配置如下几个参数，合并Map和Reduce的结果文件，消除这些影响。控制每个任务合并小文件后的文件大小(默认256000000)：hive.merge.size.per.task告诉hadoop什么样的文件属于小文件(默认16000000)：hive.merge.smallfiles.avgsize是否合并Map的输出文件(默认true)：hive.merge.mapfiles是否合并Reduce的输出文件(默认false)：hive.merge.mapredfiles