读书人

MapReduce提交作业常见有关问题

发布时间: 2012-09-21 15:47:26 作者: rapoo

MapReduce提交作业常见问题

?今天在hadoop集群上跑MapReduce程序,遇到的一些问题和解决的方法,希望对大家有帮助!
1.从HDFS上传下载文件到
第一种错误:

?
这种错误是因为向集群中提交job任务是文件的输入路径必须要是HDFS上的文件路径,输出路径也要是HDFS上的文件
第三种错误:


第三种解决方法:
自己在程序中打包自己的mapreduce程序,然后提交job任务,这方面这部分代码在eclipse插件中也是实现了的,我们这里就是要用代码实现插件的功能。
第二种错误:

2/02/10 14:59:35 INFO input.FileInputFormat: Total input paths to process : 112/02/10 14:59:35 INFO mapred.JobClient: Running job: job_201202091335_029912/02/10 14:59:36 INFO mapred.JobClient:  map 0% reduce 0%12/02/10 14:59:48 INFO mapred.JobClient:  map 100% reduce 0%

?
这种错误出现的原因是mapreduce默认的reduce个数是1个,所以如果当map的个数很大时,reduce过程迟迟不会进行,解决方法是在代码中添加job.setNumReduceTasks(4);设置reduced的个数。

?

?

1 楼 chenwq 2012-03-13 总结得很好,学习了! 2 楼 yu06206 2012-03-14 呵呵,都学习过程中遇到的一些问题!

读书人网 >编程

热点推荐