Hadoop实现AbstractJob简化Job设置

在hadoop中编写一个job一般都是采用下面的方式：

红色方框里面的内容，即是设置的参数；
同时调用prepareJob方法可以简化Job的参数设置。比如设置Mapper、MapperOutPutKey等等都要一行代码，现在全部只需一行即可；如果要设置参数以供Mapper和Reducer中使用，可以使用job.getConfiguration().set("sc", sc)来进行设置。

分享，成长，快乐
转载请注明blog地址：http://blog.csdn.net/fansy1990



1楼fansy1990昨天 18:37
关于prepareJob()方法的调用还有待验证。追踪到HadoopUtils.prepareJob()方法，看到job.setJarByClass(mapper);这个怎么设置mapper为jar了？那暂时还是用原来的job.setXxx()来吧，这个调用肯定有问题了。