读书人

单机方式:在Ubuntu上安装Hadoop

发布时间: 2013-07-08 14:13:00 作者: rapoo

单机模式:在Ubuntu上安装Hadoop

?Hadoop是一个用Java编写的用于运行与物理集群中的框架,吸收了GFS和mapreduce编程模型的特性。Hadoop的HDFS是一个高容错的分布式文件系统,并且它被设计运行于低成本的硬件上,能够提供很大的数据吞吐量,很适合那些数据量很大的应用程序。

? ? 接下来,开始准备安装hadoop。我用的操作系统是 ubuntu 12.10 server,hadoop的版本是1.2.0。

?

安装准备

?

JDK 6

Hadoop需要在JDK1.5以上的环境下才能运行,目前推荐使用JDK 6 。

?

?

?

配置

?

hadoop-env.sh

在这个配置文件里,你只需要配置 JAVA_HOME 这个环境变量就行了,添加以下内容:

1export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64

?

conf/hdfs-site.xml

在这里需要配置hadoop存放数据文件的路径和hadoop监听的端口,首先来新建目录:

1$ sudo mkdir -p /app/hadoop/tmp 2$ sudo chmod 750 /app/hadoop/tmp

然后在 conf/core-site.xml 文件里面添加以下内容:

01<property> 02??<name>hadoop.tmp.dir</name> 03??<value>/app/hadoop/tmp</value> 04??<description>A base for other temporary directories.</description> 05</property> 06??07<property> 08??<name>fs.default.name</name> 09??<value>hdfs://localhost:54310</value> 10??<description>The name of the default file system.? A URI whose 11??scheme and authority determine the FileSystem implementation.? The 12??uri's scheme determines the config property (fs.SCHEME.impl) naming 13??the FileSystem implementation class.? The uri's authority is used to 14??determine the host, port, etc. for a filesystem.</description> 15</property>

在 conf/mapred-site.xml 添加以下内容

1<property> 2??<name>mapred.job.tracker</name> 3??<value>localhost:54311</value> 4??<description>The host and port that the MapReduce job tracker runs 5??at.? If "local", then jobs are run in-process as a single map 6??and reduce task. 7??</description> 8</property>

在 conf/hdfs-site.xml 添加以下内容

1<property> 2??<name>dfs.replication</name> 3??<value>1</value> 4??<description>Default block replication. 5??The actual number of replications can be specified when the file is created. 6??The default is used if replication is not specified in create time. 7??</description> 8</property>

?

通过 NameNode 来格式化 HDFS 文件系统

在配置结束后,需要来对 HDFS 进行格式化,运行一下命令:

1$ /usr/local/hadoop/bin/hadoop namenode -format

会输出一下内容:

01root@master:~# hadoop namenode -format 02Warning: $HADOOP_HOME is deprecated. 03??0413/06/02 10:22:41 INFO namenode.NameNode: STARTUP_MSG:? 05/************************************************************ 06STARTUP_MSG: Starting NameNode 07STARTUP_MSG:?? host = master/192.168.214.128 08STARTUP_MSG:?? args = [-format] 09STARTUP_MSG:?? version = 1.2.0 10STARTUP_MSG:?? build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May? 6 06:59:37 UTC 2013 11STARTUP_MSG:?? java = 1.6.0_27 12************************************************************/ 13Re-format filesystem in /app/hadoop/tmp/dfs/name ? (Y or N) y 14Format aborted in /app/hadoop/tmp/dfs/name 1513/06/02 10:22:48 INFO namenode.NameNode: SHUTDOWN_MSG:? 16/************************************************************ 17SHUTDOWN_MSG: Shutting down NameNode at master/192.168.214.128 18************************************************************/

下面就来运行hadoop:

1$ /usr/local/hadoop/bin/start-all.sh

这个命令会启动机器上的 namenode,datanode,jobtracker 和 tasktracker

有一个简单的工具来检查hadoop的运行状况,jps:

1$ jps 24590 TaskTracker 34368 JobTracker 44270 SecondaryNameNode 54642 Jps 64028 DataNode 73801 NameNode

你也可以通过 netstat 命令来检查 hadoop 是否正常运行:

01$ sudo netstat -plten | grep java 02tcp?? 0? 0 0.0.0.0:50070?? 0.0.0.0:*? LISTEN? 1001? 9236? 2471/java 03tcp?? 0? 0 0.0.0.0:50010?? 0.0.0.0:*? LISTEN? 1001? 9998? 2628/java 04tcp?? 0? 0 0.0.0.0:48159?? 0.0.0.0:*? LISTEN? 1001? 8496? 2628/java 05tcp?? 0? 0 0.0.0.0:53121?? 0.0.0.0:*? LISTEN? 1001? 9228? 2857/java 06tcp?? 0? 0 127.0.0.1:54310 0.0.0.0:*? LISTEN? 1001? 8143? 2471/java 07tcp?? 0? 0 127.0.0.1:54311 0.0.0.0:*? LISTEN? 1001? 9230? 2857/java 08tcp?? 0? 0 0.0.0.0:59305?? 0.0.0.0:*? LISTEN? 1001? 8141? 2471/java 09tcp?? 0? 0 0.0.0.0:50060?? 0.0.0.0:*? LISTEN? 1001? 9857? 3005/java 10tcp?? 0? 0 0.0.0.0:49900?? 0.0.0.0:*? LISTEN? 1001? 9037? 2785/java 11tcp?? 0? 0 0.0.0.0:50030?? 0.0.0.0:*? LISTEN? 1001? 9773? 2857/java

停止运行 hadoop ,运行以下命令:

1$ /usr/local/hadoop/bin/stop-all.sh

那么 hadoop 单机模式安装就完成了,下一篇来介绍多物理机模式的安装。

?

读书人网 >开源软件

热点推荐