读书人

关于 MapReduce Too Many fetch failu

发布时间: 2012-12-17 09:31:40 作者: rapoo

关于 MapReduce Too Many fetch failures.Failing the attempt错误

reduce task启动后的第一阶段是shuffle(向map端fetch数据),每次fetch数据的时候都可能因为connect timeout,read timeout,checksum error等原因时报,因而reduce task为每个map设置了一个计数器,用以记录fetch该map输出时失败的次数,当失败次数达到一定阀值的时候。会通知MRAppMaster 从该map fetch数据时失败的次数太多了,并打印想要的log;

?

该阀值计算方式:

?

?

???? 默认的阀值是3,

?

?

?

?

?

?

读书人网 >网络基础

热点推荐