读书人

Hadoop 统制split尺寸

发布时间: 2012-10-31 14:37:31 作者: rapoo

Hadoop 控制split尺寸
三个参数决定Map的Split尺寸

1.mapred.min.split.size
2.mapred.max.split.size
3.dfs.block.size

根据公式:
max(minimumSize,min(maximumSize,blockSize))
默认情况:
minimumSize < blockSize < maximumSize

例子:
min max block split
1M 100M 64M 64M
128M 512M 64M 128M
1M 32M 64M 32M

读书人网 >软件架构设计

热点推荐