Hadoop集群的配置及常见问题总结
Hadoop集群配置
建立一个三台服务器的hadoop集群，三台服务器ip和对应的主机名分别为：
?????????? 192.168.0.100：shirleyren100,
?????????? 192.168.0.101：shirleyren101,
?????????? 192.168.0.102：shirleyren102，
其中192.168.0.100为namenode，另外两台为datanode。在三台服务器上创建hadoop账号
1，在namenode上创建hadoop账号的无密码公钥方式登录
ssh-keygen \-t dsa \-P '' \-f \~/.ssh/id_dsa
? ? 将namenode的上生成的id_dsa.pub和id_dsa文件复制到datanode上，并将id_dsa.pub 文件追加到datanode 的authorized_keys 内，以保证各台服务器之间的正常通信
2，在各台服务上安装sun jdk
????为防止不必要的错误，请尽量保证各服务器上的JDK版本和安装路径的一致，并将JAVA安装路径放到环境变量中 /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22export JRE_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22/jre
?3，安装hadoop
?? 在namenode上安装hadoop， 将下载的压缩包解压到安装目录下即可，附件中是我配置中修改的conf/下的文件
?? 把hadoop 的安装路径添加到环境变量/etc/profile 中
export HADOOP_HOME=/home/hadoop/hadoop/hadoop-0.20.203.0export HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-0.20.203.0/conf
?4，在conf/hadoop-env.sh中配置JAVA路径
?? 在此文件中要把java的安装路径配置进去，即在该文件中加上以下代码
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22
?5，配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml三个文件
??? 以下代码为最简单的配置方式，其他的属性可以根据自己的情况自行配置
?? core-site.xml:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://shirleyren100:9000</value> </property></configuration>
?hdfs-site.xml
?replication 默认为3，建议将replicatio设置为小于或等于datanode的数量
<configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hadoop/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hadoop/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property></configuration>
?mapred-site.xml:
<configuration> <property> <name>mapred.job.tracker</name> <value>shirleyren100:9001</value> </property></configuration>
5，配置datanode
??? 将以上配置好的hadoop包直接复制到datanode上即可
?6，配置namenode的conf/masters 和conf/slaves 文件
masters: shirleyren100slaves: shirleyren101 shirleyren102
?
?
?
?此时所有的配置就完成了，下面启动以下试试看
?首次启动的时候需要首先格式化文件系统，进入到/home/hadoop/hadoop/hadoop-0.20.203.0路径下执行以下命令
bin/hadoop namenode -format
之后在namenode上执行
bin/start-all.sh
?
此时可以使用jps命令在namenode和datanode上查看已启动的进程，
在namenode上看到的是
23550 JobTracker16368 Jps23215 NameNode23462 SecondaryNameNode
?
?在datanode上看到的是
3972 DataNode21990 Jps4063 TaskTracker
?
??同样可以在web下查看，在浏览器输入以下地址http://192.168.0.100:50070/
?也可以执行几个hadoop的命令，验证hadoop是否正确启动
?
1，bin/hadoop dfs -mkdir input /*创建名为input的目录*/2，bin/hadoop dfs -put test.txt input/ /*将文件test.txt上传到input目录下*/3，bin/hadoop dfs -ls input/ /*查看input目录下的文件*/?
?
?
需要注意的几点1，在第4步的配置文件中，一定使用主机域名而不是ip地址；
2，建议各台服务器的JDK和Hadoop的安装路径一直，这样就可以避免由于路径的问题，在不同服务器上频繁修改配置文件；
3，replication的值建议修改为小于或等于datanode数量；
4，建议hadoop.tmp.dir的路径不要设置在/tmp下，这是因为linux系统重启后会将tmp目录删除，此时运行hadoop会报 java.io.IOException: File jobtracker.info could only be replicated to 0 nodes, instead of 1的异常，需要重新format；
5，每次重新格式化后一定要删除hadoop tmp目录下的所有文件；
?
常见问题总结1，启动时报错 java.net.UnknownHostException
结果：不能正常启动
原因：通过localhost.localdomain根本无法映射到一个IP地址
解决办法：查看/etc/hosts，将主机名添加到hosts文件
?
2，启动时报错 java.io.IOException: File jobtracker.info could only be replicated to 0 nodes, instead of 1
此时，首先检查防火墙是否关闭，是否对各节点的通信产生了影响，
第二，可以检查namenode和datanode中namespaceID的值是否相同，在不同的情况下会造成该问题，修改为相同的值后，重启该节点；
第三，将SAFEMODE设置为OFF状态；
hadoop dfsadmin -safemode leave
此外，还需检查/etc/hosts文件中主机名的映射是否正确，不要使用127.0.1.1或localhost。
?
将SAFEMODE设置为OFF状态可以有两种方法
执行上面的语句可以将safemode强制置为off状态，或者在hdfs_site.xml配置文件中增加下面代码，将safemode的设为较小的值，此种方法避免了在执行hadoop过程中经常性遇到错误Name node is in safe mode而导致的需强制将safemode置为off。
?
<property><name>dfs.safemode.threshold.pct</name><value>0.95f</value></property>
?
3，ip和域名解析的问题
也会造成File jobtracker.info could only be replicated to 0 nodes, instead of 1的问题
此时要检查/etc/hosts文件中主机名的映射是否正确，不要使用127.0.1.1或localhost。
?
4，报错：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
执行任务时，任务卡死在reduce上，不执行
原因：任务最后会在最后将所有的reduce task复制到一台机器上，做最后总的reduce，此时需要ip和主机域名的配置正确
解决方法：将各节点的ip和主机域名配置正确，不能使用127.0.1.1或localhost，使用内网ip可加快处理速度
?
5，Hive执行时报错 java.lang.OutOfMemoryError: GC overhead limit exceeded
原因：这个是JDK6新添的错误类型。是发生在GC占用大量时间为释放很小空间的时候发生的，是一种保护机制。
解决办法：，关闭该功能，可以添加JVM的启动参数来限制使用内存：在mapred-site.xml 里新增项：mapred.child.java.opts 内容：-XX:-UseGCOverheadLimit
?
?
如何杀掉当前正在执行的hadoop任务1，使用hadoop帐号登录namenode
2，cd hadoop/hadoop-0.20.203.0
3，执行下面命令
?
bin/hadoop job -list? ? 会列出当前所有的正在执行hadoop任务
?
bin/hadoop job -kill job_201112201934_0512?