读书人

eclipse运作hadoop程序

发布时间: 2012-07-26 12:01:08 作者: rapoo

eclipse运行hadoop程序

?

参照hadoop-0.20.2/docs/quickstart.html

?

?

注:ssh-copy-id -i ~/.ssh/id_rsa.pub localhost,我的 用户名是fansxnet

?


?
打开Map/Reduce Locations视图,New hadoop Locations
eclipse运作hadoop程序
?完成之后,就可以看到我们的分布式文件
eclipse运作hadoop程序
?新建我们的mapreduce项目hadoop将hadoop自带的示例程序hadoop-0.20.2/src/examples/复制到我们的项目src目录下
本地新建一个input目录,里面新建两个文件file1,内容如下Hello World Bye World
file2,内容如下Hello Hadoop Goodbye Hadoop
上传input文件夹到hdfs://localhost:9000/user/fansxnet/目录下
eclipse运作hadoop程序
?
运行org.apache.hadoop.examples.WordCount.java指定输入输出文件夹hdfs://localhost:9000/user/fansxnet/input hdfs://localhost:9000/user/fansxnet/output
eclipse运作hadoop程序
?运行完之后刷新hdfs文件夹即可看到统计结果
eclipse运作hadoop程序
?

读书人网 >Eclipse开发

热点推荐