Hadoop在CentOS上的安装及实现
?
Hadoop在CentOS上的安装及实现分为3部分:
第一,安装jdk以及配置jdk
??????? 安装jdk:
????????????? jdk的下载:
????????????????? jdk的下载网址:http://download.oracle.com/otn-pub/java/jdk/6u29-b11/jdk-6u29-linux-i586.bin
????????????????? 这里需要注意的是:安装的jdk需要1.6版本以上的jdk。
????????????????? 注意:jdk1.6版本(因为我安装的时候使用了jdk1.5,导致最后使用的时候出现版本过低的错误。)
????????????? jdk的安装:
????????????????? 选择CentOS上的jdk安装目录,我是在home/zhangpuego/下建了的目录,将bin文件解压即可。
??????? 配置jdk:
???????????? 1.切换到root用户?? su - root
???????????? 2.更改环境变量文件
?????????????????? 在/etc/profile文件中,增加:
?????????????????? #add for java enviroment time:2011-11-30
?????????????????? #注意此处的路径
?????????????????? JAVA_HOME=/home/zhangpuego/software/jdk1.5.0_22
?????????????????? CLASSPAT=.:$JAVA_HOME/jre/lib/rt.jar
?????????????????? PATH=$JAVA_HOME/bin:$PATH
?????????????????? export JAVA_HOME CLASSPATH PATH
???????????? 3.切换到zhangpuego用户
?????????????????? 输入 java -version查看:
????????????????? java version "1.6.0_29"
????????????????? Java(TM) SE Runtime Environment (build 1.6.0_29-b11)
????????????????? Java HotSpot(TM) Client VM (build 20.4-b02, mixed mode, sharing)
????????????? JDK安装成功!
第二,安装hadoop以及配置hadoop
?????????? 安装hadoop:
???????????????? hadoop的下载:
?????????????????????? hadoop的下载地址:http://apache.etoak.com//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz
?????????? hadoop的配置:(在hadoop的安装目录下能找到conf文件夹和下面的几个xml文件)
? ? ???????????? conf/core-site.xml:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property></configuration>
conf/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>
conf/mapred-site.xml:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property></configuration>
第三,启动hadoop及网页测试
???????? 启动hadoop:
????????????? Format a new distributed-filesystem:
????????????? $ ./hadoop namenode -format
????????????? Start the hadoop daemons:
????????????? $ ./start-all.sh(这一步时,注意文件的访问权限问题)
???????? 网页测试:
NameNode - http://localhost:50070/ JobTracker - http://localhost:50030/