读书人

ChainMapper跟ChainReducer的实现原理

发布时间: 2012-07-27 11:03:01 作者: rapoo

ChainMapper和ChainReducer的实现原理

??由于项目中要用到ChainMapper和ChainReducer来实现数据处理流程的优化,故今天特意花了半天的时间研究了一下这两个类的实现源代码,先总结如下:

?实现类:Chain,ChainMapper , ChainReducer

第一步:配置链

?? ? ? ? JobConf

?? ? ? ?addMapper

?? ? ? ?setReducer

?? ? ? ?addMapper

第二步:实现:chain

?? ? ? ?configue:

?? ? ? ?map:

?? ? ? ?reduce:

?? ? ? ?close:

?? ? ? 传值还是传引用,使用过程中这点是很重要的,在map后或者reduce后你还需要使用这个值的话,这点是非常重要的。

1 楼 chenwq 2012-05-27 Chain中貌似只有ChainMapper(addMapper),而没有ChainReducer(setReducer)啊?

读书人网 >网络基础

热点推荐