Hadoop学习札记－入门伪分布式配置（Mac OS,0.21.0,Eclipse 3.6）

Hadoop学习笔记－入门伪分布式配置（Mac OS,0.21.0,Eclipse 3.6）
说实话，Hadoop的入门学习配置比我想像中的要简单，当然，Hadoop本身是比较复杂的（那么厚厚的一本书就能说明问题）。

开发环境：Mac OS（Unix）
Hadoop版本：0.21.0
Eclipse版本: 3.6.0

第一步：下载Hadoop
下载地址：http://hadoop.apache.org/common/releases.html#Download
注意，当前21版本的Hadoop是不稳定、不支持并且不保证安全的最新版本。

第二步：配置Hadoop
将下载的Hadoop压缩文件解压缩，找到conf目录，打开core-site.xml，修改代码如下所示：


找到mapred-site.xml修改代码如下所示：


找到hdfs-site.xml修改代码如下所示：


找到hadoop-env.sh打开，加入以下配置



第三步：运行Hadoop
打开终端，定位到Hadoop目录输入以下命令：
bin/hadoop namenode -format
此时终端输出：

然后再打开地址http://localhost:50030/
应当能看到以下页面（如果看不到，则证明你的jobtracker启动失败，请查看log）：


至此，Hadoop配置成功。

第五步：测试
将一个文件拷贝到HDFS中，打开终端定位到Hadoop目录，输入以下命令：
bin/hadoop fs -copyFromLocal [源文件] [目标地址]

比如我输入的是：
bin/hadoop fs -copyFromLocal /Users/alex/desktop/persons.rtf hdfs://localhost/tmp/hadoop-alex

此时终端会输出以下文字：


此时会打开一个窗口，对其进行配置，端口号就是我们刚才在core-site.xml中配置的端口好，既9000，如下图所示：

点击确定后即可在左边的Project Explorer面板中对DFS Location进行展开，如下图所示：


第六步：在Eclipse中写代码
在Map/Reduce视图中新建一个Map/Reduce项目（该项目与普通Java项目没什么区别），新建一个Java类，该类主要用于读取我们前面复制到HDFS中的那个文件内容：
package cn.com.fri;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URISyntaxException;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileContext;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.security.AccessControlException;public class Test {public static void main(String[] args) throws AccessControlException,FileNotFoundException, IOException, URISyntaxException {FileContext fc = FileContext.getFileContext();//如果运行在hadoop location中，不需要配置URI，否则需要给一个URIFSDataInputStream fsInput = fc.open(new Path("/tmp/hadoop-alex/persons.rtf"));IOUtils.copyBytes(fsInput, System.out, 4090, false);fsInput.seek(0);IOUtils.copyBytes(fsInput, System.out, 4090, false);}}

然后右键-&gt;Run As-&gt;Run on hadoop，此时会让你选择一个location，就选中我们刚才新建的location即可。

因为我用了seek并给了一个位置，所以会打印两遍结果如下：

引用
11/09/04 22:32:33 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively
11/09/04 22:32:33 WARN conf.Configuration: fs.default.name is deprecated. Instead, use fs.defaultFS
11/09/04 22:32:33 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/04 22:32:33 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
{\rtf1\ansi\ansicpg936\cocoartf1038\cocoasubrtf360
{\fonttbl\f0\fnil\fcharset134 STHeitiSC-Light;}
{\colortbl;\red255\green255\blue255;}
{\*\listtable{\list\listtemplateid1\listhybrid{\listlevel\levelnfc0\levelnfcn0\leveljc0\leveljcn0\levelfollow0\levelstartat1\levelspace360\levelindent0{\*\levelmarker \{decimal\}.}{\leveltext\leveltemplateid1\'02\'00.;}{\levelnumbers\'01;}\fi-360\li720\lin720 }{\listname ;}\listid1}}
{\*\listoverridetable{\listoverride\listid1\listoverridecount0\ls1}}
\paperw11900\paperh16840\margl1440\margr1440\vieww11680\viewh11900\viewkind0
\pard\tx220\tx720\tx1133\tx1700\tx2267\tx2834\tx3401\tx3968\tx4535\tx5102\tx5669\tx6236\tx6803\li720\fi-720\ql\qnatural\pardirnatural
\ls1\ilvl0
\f0\fs24 \cf0 {\listtext1.}\'d0\'ec\'d6\'f9\'a3\'ac\
{\listtext2.}\'c0\'ee\'cf\'fe\'c0\'f2\'a3\'ac\
{\listtext3.}\'d5\'d4\'d6\'f9\'a3\'ac\
{\listtext4.}\'d6\'ec\'b9\'e3\'b7\'ef\'a3\'ac\
{\listtext5.}\'d0\'bb\'c0\'e8\'c0\'e8\'a3\'ac\
{\listtext6.}\'d6\'ec\'ce\'b0\'a3\'ac\
{\listtext7.}\'d5\'c5\'b5\'a4\'b5\'a4\'a3\'ac\
{\listtext8.}\'c0\'ee\'b5\'a4\'a3\'ac\
{\listtext9.}\'b2\'b7\'ce\'c4\'c4\'c8\'a3\'ac\
{\listtext10.}\'d6\'dc\'ca\'ab\'a3\'ac\
{\listtext11.}\'d5\'d4\'cd\'ee\'b6\'ab\'a3\'ac\
{\listtext12.}\'b9\'f9\'b7\'ad\'b5\'dc\'a3\'ac\
{\listtext13.}\'cc\'c6\'be\'fc\'b2\'a8\'a3\'ac\
{\listtext14.}\'b8\'df\'cf\'e8\'a3\'ac\
{\listtext15.}\'d1\'a6\'c3\'cd\'a3\'ac\
{\listtext16.}\'ba\'fa\'b3\'a4\'ba\'d8\'a3\'ac\
{\listtext17.}\'c0\'ee\'c7\'bf\'a3\'ac\
{\listtext18.}\'c0\'ee\'bb\'d4\'a3\'ac\
{\listtext19.}\'c8\'ce\'c5\'f4\'a3\'ac\
{\listtext20.}\'d7\'db\'bc\'d2\'c7\'ed\'a3\'ac\
{\listtext21.}\'b6\'a1\'d1\'de\'a3\'ac\
{\listtext22.}\'b6\'ad\'c1\'c1\'a3\'ac\
{\listtext23.}\'c3\'ab\'ba\'ec\'a3\'ac\
{\listtext24.}\'c5\'ed\'c7\'e5\'d4\'b4\'a3\'ac\
{\listtext25.}\'c3\'cf\'c7\'ec\'bf\'c2\'a3\'ac\
{\listtext26.}\'c0\'ee\'b7\'e5\'a3\'ac\
{\listtext27.}\'c2\'ed\'c1\'d6\'a3\'ac\
{\listtext28.}\'b3\'c9\'b3\'cc\'a3\'ac\
{\listtext29.}\'b7\'b6\'c9\'dc\'b4\'a8\'a3\'ac\
{\listtext30.}\'c4\'aa\'b7\'bc\'a3\'ac\
{\listtext31.}\'b6\'a1\'cc\'ce\'a3\'ac\
{\listtext32.}\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext33.}\'c0\'ee\'b7\'ef\'a3\'ac\
{\listtext34.}\'ba\'ab\'c3\'f7\'c3\'f7\'a3\'ac\
{\listtext35.}\'c9\'f2\'cf\'fe\'c0\'f6\'a3\'ac\
{\listtext36.}\'d0\'ed\'b3\'c9\'a3\'ac\
{\listtext37.}\'d5\'d4\'d5\'f1\'a3\'ac\
{\listtext38.}\'c2\'de\'be\'b2\'a3\'ac\
{\listtext39.}\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext40.}\'d6\'ec\'b7\'ef\'a3\'ac\
{\listtext41.}\'cb\'e5\'c0\'f6\'a3\'ac\
{\listtext42.}\'ba\'fa\'d1\'f4\'d1\'f4\'a3\'a8\'ba\'fa\'d5\'f1\'a3\'a9\'a3\'ac\
{\listtext43.}\'c2\'ed\'cf\'fe\'c3\'b7\
{\listtext44.}\'b5\'cb\'b1\'f3\'a3\'ac\
{\listtext45.}\'cf\'ee\'c3\'ce\'e9\'aa\'a3\'ac\
{\listtext46.}\'d1\'ee\'c1\'f8\'a3\'ac\
{\listtext47.}\'b8\'f0\'ea\'bb\
}{\rtf1\ansi\ansicpg936\cocoartf1038\cocoasubrtf360
{\fonttbl\f0\fnil\fcharset134 STHeitiSC-Light;}
{\colortbl;\red255\green255\blue255;}
{\*\listtable{\list\listtemplateid1\listhybrid{\listlevel\levelnfc0\levelnfcn0\leveljc0\leveljcn0\levelfollow0\levelstartat1\levelspace360\levelindent0{\*\levelmarker \{decimal\}.}{\leveltext\leveltemplateid1\'02\'00.;}{\levelnumbers\'01;}\fi-360\li720\lin720 }{\listname ;}\listid1}}
{\*\listoverridetable{\listoverride\listid1\listoverridecount0\ls1}}
\paperw11900\paperh16840\margl1440\margr1440\vieww11680\viewh11900\viewkind0
\pard\tx220\tx720\tx1133\tx1700\tx2267\tx2834\tx3401\tx3968\tx4535\tx5102\tx5669\tx6236\tx6803\li720\fi-720\ql\qnatural\pardirnatural
\ls1\ilvl0
\f0\fs24 \cf0 {\listtext1.}\'d0\'ec\'d6\'f9\'a3\'ac\
{\listtext2.}\'c0\'ee\'cf\'fe\'c0\'f2\'a3\'ac\
{\listtext3.}\'d5\'d4\'d6\'f9\'a3\'ac\
{\listtext4.}\'d6\'ec\'b9\'e3\'b7\'ef\'a3\'ac\
{\listtext5.}\'d0\'bb\'c0\'e8\'c0\'e8\'a3\'ac\
{\listtext6.}\'d6\'ec\'ce\'b0\'a3\'ac\
{\listtext7.}\'d5\'c5\'b5\'a4\'b5\'a4\'a3\'ac\
{\listtext8.}\'c0\'ee\'b5\'a4\'a3\'ac\
{\listtext9.}\'b2\'b7\'ce\'c4\'c4\'c8\'a3\'ac\
{\listtext10.}\'d6\'dc\'ca\'ab\'a3\'ac\
{\listtext11.}\'d5\'d4\'cd\'ee\'b6\'ab\'a3\'ac\
{\listtext12.}\'b9\'f9\'b7\'ad\'b5\'dc\'a3\'ac\
{\listtext13.}\'cc\'c6\'be\'fc\'b2\'a8\'a3\'ac\
{\listtext14.}\'b8\'df\'cf\'e8\'a3\'ac\
{\listtext15.}\'d1\'a6\'c3\'cd\'a3\'ac\
{\listtext16.}\'ba\'fa\'b3\'a4\'ba\'d8\'a3\'ac\
{\listtext17.}\'c0\'ee\'c7\'bf\'a3\'ac\
{\listtext18.}\'c0\'ee\'bb\'d4\'a3\'ac\
{\listtext19.}\'c8\'ce\'c5\'f4\'a3\'ac\
{\listtext20.}\'d7\'db\'bc\'d2\'c7\'ed\'a3\'ac\
{\listtext21.}\'b6\'a1\'d1\'de\'a3\'ac\
{\listtext22.}\'b6\'ad\'c1\'c1\'a3\'ac\
{\listtext23.}\'c3\'ab\'ba\'ec\'a3\'ac\
{\listtext24.}\'c5\'ed\'c7\'e5\'d4\'b4\'a3\'ac\
{\listtext25.}\'c3\'cf\'c7\'ec\'bf\'c2\'a3\'ac\
{\listtext26.}\'c0\'ee\'b7\'e5\'a3\'ac\
{\listtext27.}\'c2\'ed\'c1\'d6\'a3\'ac\
{\listtext28.}\'b3\'c9\'b3\'cc\'a3\'ac\
{\listtext29.}\'b7\'b6\'c9\'dc\'b4\'a8\'a3\'ac\
{\listtext30.}\'c4\'aa\'b7\'bc\'a3\'ac\
{\listtext31.}\'b6\'a1\'cc\'ce\'a3\'ac\
{\listtext32.}\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext33.}\'c0\'ee\'b7\'ef\'a3\'ac\
{\listtext34.}\'ba\'ab\'c3\'f7\'c3\'f7\'a3\'ac\
{\listtext35.}\'c9\'f2\'cf\'fe\'c0\'f6\'a3\'ac\
{\listtext36.}\'d0\'ed\'b3\'c9\'a3\'ac\
{\listtext37.}\'d5\'d4\'d5\'f1\'a3\'ac\
{\listtext38.}\'c2\'de\'be\'b2\'a3\'ac\
{\listtext39.}\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext40.}\'d6\'ec\'b7\'ef\'a3\'ac\
{\listtext41.}\'cb\'e5\'c0\'f6\'a3\'ac\
{\listtext42.}\'ba\'fa\'d1\'f4\'d1\'f4\'a3\'a8\'ba\'fa\'d5\'f1\'a3\'a9\'a3\'ac\
{\listtext43.}\'c2\'ed\'cf\'fe\'c3\'b7\
{\listtext44.}\'b5\'cb\'b1\'f3\'a3\'ac\
{\listtext45.}\'cf\'ee\'c3\'ce\'e9\'aa\'a3\'ac\
{\listtext46.}\'d1\'ee\'c1\'f8\'a3\'ac\
{\listtext47.}\'b8\'f0\'ea\'bb\
}


rtf中存放的是中文。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝文章结束＝＝＝＝＝＝＝＝＝＝＝＝＝

今天所学习到的地方就到这里。
Hadoop学习札记－入门伪分布式配置（M

热点推荐
