Mac OS X 10.7.2下搭建hadoop1.0.3伪分布式模式

?

第一步：下载hadoop1.0.3

?

在浏览器输入：http://apache.etoak.com/hadoop/common/hadoop-1.0.3/

?

选择hadoop-1.0.3.tar.gz

?

?

第二步：解压、配置环境变量

?

我将hadoop-1.0.3.tar.gz放置在了/Users/zhangosufei/software下。

利用命令：tar -zxvf?hadoop-1.0.3.tar.gz解压，解压后的路径如下：

/Users/zhangosufei/software/hadoop-1.0.3

?

通过cd conf命令切换到conf，通过vi?hadoop-env.sh，在此文件末尾输入一下命令：

?

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Homeexport HADOOP_INSTALL=/Users/zhangosufei/software/hadoop-1.0.3export PATH=$PATH:$HADOOP_INSTALL/bin

保存，退出。

注意：HADOOP_INSTALL根据你本地hadoop所放置的位置来设置。

?

第三步：配置hadoop

?

通过vi?core-site.xml，编辑此文件如下：

?

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>    <property>        <name>fs.default.name</name>        <value>hdfs://localhost:9000</value>    </property></configuration>

?

通过vi?mapred-site.xml，编辑此文件如下：

?

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>  <property>    <name>mapred.job.tracker</name>    <value>localhost:9001</value>  </property></configuration>

?

通过vi?hdfs-site.xml，编辑此文件如下：

?

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>  <property>    <name>dfs.replication</name>    <value>1</value>  </property></configuration>

?

第四步：配置SSH

?

在系统偏好设置-》共享中，勾选远程登录选项，如下图：

?

?

第五步：格式化分布式文件系统

?

使用如下命令格式化：

?

bin/hadoop namenode -format

?

第六步：启动hadoop

?

使用如下命令启动：

?

bin/start-all.sh

?启动过程中，需要多次输入你登录操作系统的密码，如下图：

?

starting namenode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-namenode-bogon.outPassword:localhost: starting datanode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-datanode-bogon.outPassword:localhost: starting secondarynamenode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-secondarynamenode-bogon.outstarting jobtracker, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-jobtracker-bogon.outPassword:localhost: starting tasktracker, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-tasktracker-bogon.out

?

在浏览器中输入http://localhost:50070，如果无法访问此服务，请查看logs目录下的hadoop-zhangosufei-namenode-bogon.log文件。如果配置成功，会看到以下页面：

?

在浏览器中输入http://localhost:50030，如果无法访问此服务，请查看logs目录下的hadoop-zhangosufei-datanode-bogon.log文件。如果配置成功，会看到以下页面：

?

?

?

OK，恭喜你，你的hadoop配置成功了。