读书人

hadoop 环境配搭

发布时间: 2012-09-18 16:21:42 作者: rapoo

hadoop 环境搭配
环境说明:CentOS 6.2 64位操作系统
两台机器,部署如下:

<configuration>    <property>    <name>mapred.job.tracker</name>    <value>fanbin01:9001</value>    </property>    </configuration>



4.格式化一个新的分布式文件系统
hadoop namenode format


5.启动集群
start-all.sh


6.配置完成后,可以通过访问以下页面,判断是否配置成功。
http://fanbin01:50030


7. 运行WordCount的例子
Hadoop jar WordCount.jar /input /output


8.关闭集群
stop-all.sh


9.启动集群常见问题:
1)hadoop集群启动遇到java.net.NoRouteToHostException: No route to host
方法一:防火墙没关,sudo /etc/init.d/iptables stop关闭防火墙
方法二:各台机器,在root权限下关闭防火墙 service iptables stop
2)Hadoop格式化HDFS报错java.net.UnknownHostException
需要保证/etc/sysconfig/network中的hostname 与 /etc/hosts中有正确的映射
可参考http://blog.csdn.net/shirdrn/article/details/6562292,按该方法改完如果没有生效,需要重启各台机器;
3)主节点jobtracter日志中有hadoop problem cleaning system directory,50030界面状态一致为 初始化状态时,可按以下方法解决。
在主节点进行关闭,hadoop dfsadmin -safemode leave

读书人网 >开源软件

热点推荐