Reducer数目最佳值的设定

Reducer数目最佳值的设定

reducer slots的总数 = 集群中的总的节点数*每个节点有多少个slots
Reducer数目的最佳值和reducer slots的数目有关，通常情况下让Reducers的数目略小于reducer slots的数目
在设置Reducer的数目的时候也要考虑Mapper的数量，如果Reducer的数量大于Mapper的数量的话，那么就会造成在执行的过程中多出的Reducer不会工作，造成资源的浪费