Hadoop实战-中高级部分 之 Hadoop HA

?

?

Hadoop实战-中高级部分 之 Hadoop作业调优参数调整及原理

Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作业调优参数调整及原理Hadoop HAHadoop MapReduce高级编程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安装Hadoop RPC?第一部分：core-site.xml参数列表第二部分：hdfs-site.xml参数列表第三部分：mapred-site.xml参数列表??io.sort.mb?默认值100?缓存map中间结果的buffer大小(in MB)?io.sort.record.percent?默认值?0.05?io.sort.mb中用来保存map output记录边界的百分比，其他缓存用来保存数据?io.sort.spill.percent?默认值0.80?map开始做spill操作的阈值?io.sort.factor?默认值?10?做merge操作时同时操作的stream数上限。??min.num.spill.for.combine?默认值3?combiner函数运行的最小spill数?mapred.compress.map.output?默认值?false?map中间结果是否采用压缩?mapred.map.output.compression.codec?org.apache.hadoop.io.compress.DefaultCodec?min.num.spill.for.combine?默认值3?combiner函数运行的最小spill数?mapred.compress.map.output?默认值?false?map中间结果是否采用压缩?mapred.map.output.compression.codec?org.apache.hadoop.io.compress.DefaultCodec?mapred.reduce.parallel.copies?默认值5?每个reduce并行下载map结果的最大线程数?mapred.reduce.copy.backoff?默认值?300?reduce下载线程最大等待时间（in sec）?io.sort.factor?默认值10?org.apache.hadoop.io.compress.DefaultCodec?mapred.job.shuffle.input.buffer.percent?默认值0.7?用来缓存shuffle数据的reduce task heap百分比?mapred.job.shuffle.merge.percent?默认值?0.66?缓存的内存中多少百分比后开始做merge操作?mapred.job.reduce.input.buffer.percent?默认值0.0?sort完成后reduce计算阶段用来缓存数据的百分比?转载请注明出处【???http://sishuok.com/forum/blogPost/list/0/5938.html?】

?

1 楼 usezhou 2012-09-26 fs.trash.interval
这个参数 默认是0 并非是不清理
而是不开启 回收站，直接删除，那自然也不清理了
而如果设定具体的时间了，那删除的文件会自动进入 回收站，待到一定的时间便会自动删除
希望我理解的没错