读书人

hadoop配备纪要

发布时间: 2012-09-12 09:21:30 作者: rapoo

hadoop配置纪要

1.回收站设置,以防勿操作conf/core-site.xml<property>        <name>fs.trash.interval</name>        <value>1440</value></property> 默认是0.单位分钟。这里我设置的是1天(60*24)删除数据rm后,会将数据move到当前文件夹下的.Trash目录2. hdfs.site.xml<property>        <name>dfs.hosts</name>        <value>/usr/local/hadoop-0.20.2/conf/include</value>        <final>true</final></property><property>        <name>dfs.hosts.exclude</name>        <value>/usr/local/hadoop-0.20.2/conf/exclude</value>        <final>true</final></property>配置许可/拒绝DataNode列表。dfs.hosts  许可dfs.hosts.exclude 拒绝 3.处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=40004. Namenode in safe mode执行:bin/hadoop dfsadmin -safemode leave5.java.net.NoRouteToHostException: No route to host解决方法:sudo /etc/init.d/iptables stop

读书人网 >编程

热点推荐