Hadoop Windows 搭建开发环境[转]

主要是在 Linux 平台下运行的，如果想在 Windows 平台下运行，你需要安装 Cygwin 才能运行， Hadoop 脚本。

下载 Cygwin 安装包

安装时一定要确认选择“ openssh ”安装包。如下图：

Hadoop 分布式运行需要 SSH 。所以这一部分介绍在 Cygwin 下配置 SSH 守护进程。

打开 Cygwin 命令环境

???????
?????? ?
???????

? When asked if privilege separation should be used, answer .

记着一定要答no, 否则用Hadoop-Ecliple Plugin 插件进行开发时，会提示你没有权限操作文件，不能写等错误。（我因为这个问题头痛了好长时间，最后才找到是这里出现问题的。）

? When asked if sshd should be installed as a service, answer

? When asked about the value of CYGWIN environment variable enter.

配置完后，启动 SSHD 守护进程

运行： n et start sshd 或者通过 Windows 服务，启动 CYGWINSSHD 服务 .

想要停止服务运行： n et stop sshd 就可以了

??????
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试

最后运行以下命令测试

ssh localhost

如果没有问题会提示以下内容: The authenticity of host 'localhost (127.0.0.1)' can't be established. RSA key fingerprint is 08:03:20:43:48:39:29:66:6e:c5:61:ba:77:b2:2f:55. Are you sure you want to continue connecting (yes/no)? Warning: Permanently added 'localhost' (RSA) to the list of known hosts. rywei@localhost's password:

会提示输入你机子的登录密码，输入无误后，会出现文本图形，类似于欢迎的提示：

The Hippo says: Welcome to

如果你不想每次都要输入密码，可以执行以下命令即可

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa?
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

a. 从Hadoop 网站下载最新的安装包( 当前版本

解压hadoop-0.20.2 安装包到你的主目录(/home/username/)

?? 修改conf/hadoop-env.sh 文件，将export JAVA_HOME 的值修改为你机上的jdk 安装目录，比如/cygdrive/d/tools/jdk1.6.0_03 ，/cygdrive 是Cygwin 安装成功后系统的根目录 如果你的JDK 安装在“C:\Program Files\Java\jdk1.6.0_20

如：export JAVA_HOME='C:\Program Files\Java\jdk1.6.0_20'

c. 在Hadoop 主目录内创建logs 目录，用以存放Hadoop 日志信息

Hadoop 可以用以下三种支持的模式中的一种启动 Hadoop 集群：

默认情况下， Hadoop 被配置成以非分布式模式运行的一个独立 Java 进程。这对调试非常有帮助。

下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的 output 目录。?
$ mkdir input?
$ cp conf/*.xml input?
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'?
$ cat output/*

Hadoop 可以在单节点上以所谓的伪分布式模式运行，此时每一个 Hadoop 守护进程都作为一个独立的 Java 进程运行。

使用如下配置 :?
conf/core-site.xml :

????<name>fs.default.name</name>

?

?

????<value>hdfs://localhost:9000</value>

?

?

????<name>dfs.replication</name>

?

?

????<value>1</value>

?

?

????<name>mapred.job.tracker</name>

?

?

????<value>localhost:9001</value>

?

?

在 Cygwin 下 必须设置中间的暂存目录，否则会出错的

? <name>mapred.child.tmp</name>

? <value>/home/hadoop-0.20.1/temp</value>

注：我就是忘记设置这个参数，代码总是不能成功运行, 产生如下错误：

10/05/04 09:15:50 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

10/05/04 09:15:50 INFO mapred.FileInputFormat: Total input paths to process : 4

10/05/04 09:15:51 INFO mapred.JobClient: Running job: job_201005040912_0002

10/05/04 09:15:52 INFO mapred.JobClient:? map 0% reduce 0%

10/05/04 09:15:58 INFO mapred.JobClient: Task Id : attempt_201005040912_0002_m_000006_0, Status : FAILED

java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_0/work/tmp does not exist.

??????? at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:420)

??????? at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:244)

??????? at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:520)

??????? at org.apache.hadoop.mapred.Child.main(Child.java:143)

10/05/04 09:16:03 INFO mapred.JobClient: Task Id : attempt_201005040912_0002_m_000006_1, Status : FAILED

java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_1/work/tmp does not exist.

??????? at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:420)

??????? at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:244)

??????? at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:520)

??????? at org.apache.hadoop.mapred.Child.main(Child.java:143)

格式化一个新的分布式文件系统：?
$ bin/hadoop namenode -format

启动 Hadoop 守护进程：?
$ bin/start-all.sh

Hadoop 守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 ( 默认是 ${HADOOP_HOME}/logs ).

浏览 NameNode 和 JobTracker 的网络接口，它们的地址默认为：

将输入文件拷贝到分布式文件系统：?
$ bin/hadoop fs -put conf input

运行发行版提供的示例程序：?
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

将输出文件从分布式文件系统拷贝到本地文件系统查看：?
$ bin/hadoop fs -get output output?
$ cat output/*

在分布式文件系统上查看输出文件：?
$ bin/hadoop fs -cat output/*

完成全部操作后，停止守护进程：?
$ bin/stop-all.sh

在Hadoop 根目录里，contrib\eclipse-plugin 文件夹下有,Hadoop 在Eclipse 的插件hadoop-0.20.2-eclipse-plugin.jar 。将其拷贝到Eclipse 的plugins 目录下。

启动Eclipse 后，你将看到如下界面：

点击 Eclipse 主菜单上 Windows->Preferences, 然后在左侧选择 Hadoop Home Directory, 设定你的 Hadoop 主目录, 如图一所示：

点击 Eclipse 主菜单上 File->New->Project, 在弹出的对话框中选择 MapReduce Project, 输入 project name 如 wordcount, 　然后点击 Finish 即可。, 如图所示：

此后，你就可以象一个普通的 Eclipse Java project 那样，添加入 Java 类，比如你可以定义一个 WordCount 类。最简单的方法，就是将在Hadoop 主目录的src\example\ 下的WordCount 拷贝过来。

如图三所示，设定程序的运行参数: 输入目录和输出目录之后，你就可以在 Eclipse 中运行 wordcount 程序了，当然，你也可以设定断点，调试程序。

注：/user/rywei/test 和/user/rywei/test1 为HDFS 文件系统的路径。/user/rywei/tes 为输入目录, /user/rywei/test1 为执行输出目录。

打开 Map/Reduce perspective, 在菜单内选中 选择 "Other" 菜单， , 从 perspectives 列表选中 " Map/Reduce " .

DFS?Locations 内可以查看 HDFS 文件系统内的文件，可以进行新增，删除等操作。

Location Name --?localhost?Map/Reduce Master Host --?localhost?DFS Master

注意：一定要设置Mapred.Child.Tmp 目录。例如：

Mapred.Child.Tmp=${HADOOPHOME}/temp

一切都设置完了，可以点击运行. 运行结果如下：

引文来源??在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客