hadoop的mapreduce的一些关键点整理

?

?

?

?

?

其实shuffle并不是什么复杂的东西，shuffle描述的是从map端处理完数据后，reduce端从map端获取数据进行处理的过程，只需要明白map端和reduce分别都怎么处理的，就明白了mapreduce的原理。因此，shuffle可以理解为一个描述性的词语，想想一个map的结果会输出到不同的reduce节点；而一个ruduce节点的数据是来自多个map，这样一个mxn的形式，用线连起来，是不是像洗牌操作？

?