读书人

yarn执行mr出现的 内存有关问题

发布时间: 2012-10-07 17:28:51 作者: rapoo

yarn执行mr出现的 内存问题
反正就是各种报错,超出内存什么的。
涉及到两个配置文件:yarn-site.xml 和 mapred-site.xml;

yarn-site.xml主要涉及这两个参数:

        <!-- mem limit for maps  -->        <property>                <name>mapreduce.map.memory.mb</name>                <value>768</value>        </property>        <!-- Larger resource limit for reduces  -->        <property>                <name>mapreduce.reduce.memory.mb</name>                <value>768</value>        </property>

这连个值,不能超过机器的内存,太接近也不行,可能是需要给系统留点内存。
我的机器有的1330M内存,最高只能把这个值设置在1024,大了就会报错。

读书人网 >开源软件

热点推荐