读书人

Hadoop 关于0.95/1.75 * (number of

发布时间: 2012-08-24 10:00:21 作者: rapoo

Hadoop 关于0.95/1.75 * (number of nodes)误解

首先要明白一概念,就是reduce任务槽,即集群能够同时运行的reduce任务的最大数量

一般reduce的个数被设为:0.95/1.75 * (number of nodes)

Note:这里的nodes不是集群中TaskTracker的总数,而是所有TaskTracker的reduce任务槽总数

0.95:if 某个reduce失败,那么JobTracker就很很快找到另外一台有空闲reduce

任务槽的集群去执行

1.75:这样可以使得执行快的机器执行更多的reduce任务,使得负载平衡,提高集群处理速度

读书人网 >编程

热点推荐