hadoop 环境搭配
环境说明:CentOS 6.2 64位操作系统
两台机器,部署如下:
<configuration> <property> <name>mapred.job.tracker</name> <value>fanbin01:9001</value> </property> </configuration>
4.格式化一个新的分布式文件系统
hadoop namenode format
5.启动集群
start-all.sh
6.配置完成后,可以通过访问以下页面,判断是否配置成功。
http://fanbin01:50030
7. 运行WordCount的例子
Hadoop jar WordCount.jar /input /output
8.关闭集群
stop-all.sh
9.启动集群常见问题:
1)hadoop集群启动遇到java.net.NoRouteToHostException: No route to host
方法一:防火墙没关,sudo /etc/init.d/iptables stop关闭防火墙
方法二:各台机器,在root权限下关闭防火墙 service iptables stop
2)Hadoop格式化HDFS报错java.net.UnknownHostException
需要保证/etc/sysconfig/network中的hostname 与 /etc/hosts中有正确的映射
可参考http://blog.csdn.net/shirdrn/article/details/6562292,按该方法改完如果没有生效,需要重启各台机器;
3)主节点jobtracter日志中有hadoop problem cleaning system directory,50030界面状态一致为 初始化状态时,可按以下方法解决。
在主节点进行关闭,hadoop dfsadmin -safemode leave