读书人

hadoop伪分布模式起步

发布时间: 2013-10-24 18:27:24 作者: rapoo

hadoop伪分布模式启动
1.设置conf下的core-site.xml、hdfs-site.xml、mapred-site.xml文件
core-site.xml:

<configuration>  <property>    <name>fs.default.name</name>    <value>hdfs://localhost</value>  </property>  <property>    <name>hadoop.tmp.dir</name>    <value>tmp/hadoop-${user.name}</value>  </property></configuration>

hdfs-site.xml:
<configuration>  <property>    <name>dfs.replication</name>    <value>1</value>  </property></configuration>

mapred-site.xml:
<configuration>  <property>    <name>mapred.job.tracker</name>    <value>localhost:8021</value>  </property></configuration>

2.配置ssh
确保用户能够ssh到本地主机,并不输入密码即可访问。
首先,确保ssh已经安装,且服务器正在运行。
% sudo apt-get install ssh
然后,基于空口令创建一个新ssh密钥,以启用无密码登录。
% ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
% cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
用以下指令进行测试:
% ssh localhost
如果成功,则无需键入密码。

3.格式化HDFS文件系统
% hadoop namenode -format

4.启动和终止守护进程
启动:
% start-all.sh
终止:
% stop-all.sh
可通过jps命令查看守护进程是否正在运行。
或通过Web界面:http://localhost:50030 jobtracker
http://localhost:50070 namenode


读书人网 >开源软件

热点推荐