Hadoop集群的配置笔记
[root@slave1 ~] mkdir /usr/lib/jvmmkdir /usr/lib/jvm/jdk[hadoop@master Downloads]$ sudo scp jdk-6u43-linux-i586.bin slave1:/usr/lib/jvm/jdk[root@localhost jdk]# ./jdk-6u43-linux-i586.bin
?
修改limits.conf和login
vim ?/etc/security/limits.conf
?加上
hadoop - nofile 32768hadoop soft/hard nproc 32000?vim /etc/pamd.login
加上
session required pam_limits.so
?
?
复制master中几个配置文件到hosts，或者自己修改如下文件
cd /etc
scp profile ?hosts ??pamd.login??slave1:/etc
scp ?/etc/security/limits.conf ?slave1:/etc?/etc/security
?
?
执行环境变量
source /etc/profile?
检验java是否安装成功
java?
javac
?
修改master中hadoop和hbase的配制文件。slave的相关相息加入
然后复制hadoop和hbase目录到slave
scp -r hadoop-1.1.2 ?hbase??slave1:/usr/local/
?
?
创建目录
mkdir ?/usr/hadoop
mkdir ?/usr/hadoop/tmp
?
修改权限
chown -R ?hadoop:hadoop ?/usr/hadoop
chown -R hadoop:hadoop ?/usr/local/hadoop-1.1.2
chown -R hadoop:hadoop ?/usr/local/hbase
?
在master上操作
如果是初始化hadoop
hadoop namenode -format
?
启动hadoop
bin/start-all.sh
停止hadoop
bin/stop-all.sh
?
重启坏掉的DataNode或TaskTracker/Jobtracker。在坏死的节点上运行
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
hadoop-daemon.sh start jobtracker
?
查看集群状态
hadoop dfsadmin -report
?
启动hbase
start-hbase.sh
hbase shell
停止hbase
stop-hbase.sh
?
运行hive
hive --service hwi
hive
?
?
可能报的异常：
出现 Warning: $HADOOP_HOME is deprecated.
在当前用户home/.bash_profile里增加一个环境变量：
export HADOOP_HOME_WARN_SUPPRESS=1
重新执行
source .bash_profile ?
?
注意事项：
Linux的图形化桌面gnome会占用较多的内存和CPU,如xorg,gnome-screensav 等进程，所以slave尽量不要安装图形桌面。master在不需要图形化桌面时用Ctrl+Alt+F3切换到字符界面。这样可以大大提高主机利用效率。