读书人

筹建hadoop集群时的注意项

发布时间: 2012-09-04 14:19:30 作者: rapoo

搭建hadoop集群时的注意项

在这篇文章里讲述了一些配置的注意事项,我这里再补充一点自己的(如有不对恳请指出)

Hadoop中的集群配置和使用技巧?分布式计算开源框架Hadoop入门实践(二)

http://www.infoq.com/cn/articles/hadoop-config-tip

?

1:master 和 slaves机器上运行hadoop的用户名要一样,这个主要是由于ssh生成的key是依据用户名来的,针对用户名来做公私钥验证。

?

2:master 和 slaves上 hadoop的安装路径要一致,否则在运行程序时会在slaves上用master上的hadoop安装路径来执行程序

?

3:master和slaves 上的hadoop-env.sh的JAVA_HOME要设置,这个路径可以不一样

?

4:master 和 slaves 之间的网络端口访问需要授权,例如在iptables中设置accept 或者直接关掉 iptables这个服务

?

5:fs.default.name 这个配置项记得要配置在core-site.xml,不要配置在hdfs-site.xml 因为hadoop命令会读取这个里面的配置项而不是hdfs-site.xml的

更多信息请查看?java进阶网?http://www.javady.com

读书人网 >编程

热点推荐