在hadoop集群中添加结点
向一个正在运行的Hadoop集群中增加几个新的Nodes (转自高飞鸟的博客? www.tech126.com)
1. 新节点上部署java/hadoop程序,配置相应的环境变量
2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys
3. 新节点上设置host,需要有集群中各节点的host对应
4. 新节点上建立相关的目录,并修改属主
5. master的slaves文件中增加上相的节点,master上增加相应的host
6. 在新节点上启动datanode和tasktracker
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start datanode
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start tasktracker
7. 进行block块的均衡
在hdfs-site.xml中增加设置balance的带宽,默认只有1M:
<property>
??? <name>dfs.balance.bandwidthPerSec</name>
??? <value>10485760</value>
??? <description>
??????? Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
??? </description>
</property>
运行以下命令进行负载均衡:
/opt/sohuhadoop/hadoop/bin/start-balancer.sh -threshold 3