读书人

hadoop单机装配要点

发布时间: 2012-11-03 10:57:43 作者: rapoo

hadoop单机安装要点
今天安装了hadoop的单机版,参照网上的一些博文,终于成功了,环境如下:

Hadoop版本:hadoop-0.20.203.0
Java JDK版本:1.6.0_29
linux环境:suse 9

参照博文:
http://www.cnblogs.com/maczpc/archive/2010/01/17/1650191.html

在参照上述博文的基础上,还有如下几个要点:

1、检查SSH是否安装,命令如下:
$ssh -version

2、配置JAVA_HOME,在 conf/hadoop-env.sh 中添加如下内容:
export JAVA_HOME=/opt/jdk1.6.0_29

3、检查hadoop配置:
conf/core-site.xml内容如下:

...<configuration> <property>         <name>fs.default.name</name>         <value>hdfs://localhost:9000</value>      </property></configuration>

hdfs-site.xml内容如下:
...<configuration>  <property>         <name>dfs.replication</name>         <value>1</value>       </property></configuration>

mapred-site.xml内容如下:
...<configuration>  <property>         <name>mapred.job.tracker</name>         <value>localhost:9001</value>       </property></configuration>


4、以root方式启动,会遇到问题,提示如下:
hadoop Unrecognized option: -jvm
检查bin/hadoop,发现如下内容:
  if [[ $EUID -eq 0 ]]; then    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"  else    HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"  fi
如果是root用户启动,需要传 -jvm参数,不知是何用意,暂时先注掉,如下所示:
  #  if [[ $EUID -eq 0 ]]; then  #    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"  #  else       HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"  #  fi
启动正常

5、格式化新的文件系统,启动hadoop
$bin/hadoop namenode format
$bin/start-all.sh

6、启动完毕,可以通过如下地址查看启动情况:
NameNode - http://host:50070/
JobTracker - http://host:50030/

读书人网 >软件架构设计

热点推荐