读书人

[hadoop] 筹建自己的hadoop集群

发布时间: 2013-02-24 17:58:56 作者: rapoo

[hadoop] 搭建自己的hadoop集群
1> 准备工作
a> 五台centos6.2虚拟机,配置主机名、IP地址、yum源、
192.168.68.201 master01
192.168.68.202 master02
192.168.68.203 slave01
192.168.68.204 slvae02
192.168.68.205 slave03
b> 准备所需要的软件包
jdk-6u26-linux-x64-rpm.bin
hadoop-0.20.2.tar.gz
2> 配置我自己的hadoop 集群
a> 修改5台机器的hosts文件

#vim /etc/hosts

      #scp -r hadoop-0.20.2 root@master02:/root/      #scp -r hadoop-0.20.2 root@slave01:/root/      #scp -r hadoop-0.20.2 root@slave02:/root/      #scp -r hadoop-0.20.2 root@slave03:/root/

3> 启动hadoop集群
a> 在master01上格式化hdfs系统
#./hadoop-0.20.2/bin/hadoop namenode -format
b> 在master01上启动hdfs系统 ,执行jps查看启动的进程
#./hadoop-0.20.2/bin/start-dfs.sh

#jps

1872 Jps

1654 NameNode

c> 在master02上启动MapReduce,执行jps查看启动的进程
#./hadoop-0.20.2/bin/start-mapred.sh

#jps

1956 Jps
1737 SecondaryNameNode
1895 JobTracker

d> 查看slave01上启动的进程

#jps

2418 Jps
1758 TaskTracker
1827 DataNode

读书人网 >系统运维

热点推荐