Ubuntu10.10下Hadoop快速安装手册
?
Ubuntu下Hadoop快速安装手册
一、环境
?? ? ? ubuntu10.10+jdk1.6
二、下载&安装程序
?? ? 1.1 ApacheHadoop:
?? ? ? ? 下载HadoopRelase:http://hadoop.apache.org/common/releases.html
?? ? ? ? ?解压：tarxzf hadoop-x.y.z.tar.gz
?? ? 1.2 安装JDK1.6:sudoapt-get install sun-java6-jdk
三、配置环境变量&配置文件
?? ? ?1.环境变量
?? ? ? ? exportHADOOP_INSTALL=/opt/hadoop-0.20.2/(Hadoop解压目录)
?? ? ? ? exportPATH=$PATH:$HADOOP_INSTALL/bin
?? ? ? ? exportHADOOP_COMMON_HOME=$HADOOP_INSTALL
?? ? ? ? exportHADOOP_CONF_DIR=$HADOOP_INSTALL/conf
?? ? ? ? exportJAVA_HOME=/usr/lib/jvm/java-6-openjdk(JDK目录)
?? ? 2.配置Hadoop
?? ? ? ? ?2.1设置hadoopJAVA_HOME
?? ? ? ? ? ? 打开$HADOOP_INSTALL/conf/hadoop-env.sh,配置JAVA_HOME如下图：
?? ? ? ? ?
?? ? ? ? ? ? ? 2.2?设置hadoop ,hdfs,mapreduce（伪集群设置，其它参考文档）
?? ? ? ? ? ? ?2.2.1设置core-site.xml,如下：
?? ? ? ? ? ? ? ? ?<configuration>
?? ? ? ? ? ? ? ? ? ? ?<property>
?? ? ? ? ? ? ? ? ? ? ? ? ?<name>fs.default.name</name>
?? ? ? ? ? ? ? ? ? ? ? ? ?<value>hdfs://localhost:9000/</value>
?? ? ? ? ? ? ? ? ? ? </property>
?? ? ? ? ? ? ? ? ? ? <property>
?? ? ? ? ? ? ? ? ? ? <!--注意：一定要设置此项,dfs,mapreduce,tmp文件都存放此处；
?? ? ? ? ? ? ? ? ? ? 否则dfs,mapreduce将默认存放在系统临时目录下(/tmp),
?? ? ? ? ? ? ? ? ? ? 系统重启后，以前的所有操作将消失。--!>
?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?<property>
?? ? ? ? ? ? ? ? ? ? ? ? ? <name>hadoop.tmp.dir</name>
?? ? ? ? ? ? ? ? ? ? ? ? ? ? ?<value>/home/john/hadoop/</value>
?? ? ? ? ? ? ? ? ? ? ? </property>
?? ? ? ? ? ? ? ? ? </configuration>
?? ? ? ? ? ? ? 具体配置项参考： hadoopinstal/doc/core-default.html
?? ? ? ? ? ? ? 2.2.2?设置hdfs-site.xml,如下：
?? ? ? ? ? ? ? ?<configuration>
?? ? ? ? ? ? ? ? ? ? <property>
?? ? ? ? ? ? ? ? ? ? ? ? ?<name>dfs.replication</name>
?? ? ? ? ? ? ? ? ? ? ? ? ?<value>1</value>
?? ? ? ? ? ? ? ? ? ?</property>
?? ? ? ? ? ? ? ?<configuration>
?? ? ? ? ? ? ? 具体配置项参考： hadoopinstal/doc/hdfs-default.html
?? ? ? ? ? ? ? 2.2.3设置mapred-site.xml,如下：
?? ? ? ? ? ? ? <configuration>
?? ? ? ? ? ? ? ? ? ?<property>
?? ? ? ? ? ? ? ? ? ? ? ?<name>mapred.job.tracker</name>
?? ? ? ? ? ? ? ? ? ? ? ?<value>localhost:9001</value>
?? ? ? ? ? ? ? ? ? ?</property>
?? ? ? ? ? ? ?<configuration>
?
?? ? ? ? ? ? ?具体配置项参考： hadoopinstal/doc/mapred-default.html
四、FormatHadoop&Run Hadoop
?? ? ? ?控制台执行命令：hadoopnamenode -format
?? ? ? ?运行：start.all.sh
?? ? ? ?验证是否安装成功：
?? ? ? 浏览器：http://localhost:50030
?? ? ? ? ? ? ? ? ? ?(localhostHadoop Map/Reduce Administration)
?? ? ? ? ? ? ? ? ? ?http://localhost:50070
?? ? ? ? ? ? ? ? ? ?(NameNode'localhost.localdomain:8020')
五、安装Eclipseplugin
?? ? ? ?对与不同Hadoop版本，需要不同的plugin,需要自己编译，在0.20.2版本一下，的release包里都有编译好的plugin,位置在(解压目录/contrib/eclipse-plugin/)。编译plugin问题很多，如果需先赌为快，建议安装0.20.2版。直接把hadoop-*-eclipse-plugin.jar，cp到”eclipse安装目录/eclise/plugins”
?? ? ? ?注意，一定不要修改hadoop-*-eclipse-plugin.jar名称，然后重新启动eclipse即可，
查看插件如下图：
?? ? ? ? ?
?
?