读书人

Hadoop学习笔记怎么把Mapper/Redu

发布时间: 2013-04-22 16:01:35 作者: rapoo

Hadoop学习笔记——如何把Mapper/Reducer的代码分发到节点上去。

在Hadoop中实现Map/Reduce模型,我们需要继承如下两个类:

?

JobConf conf = new JobConf(MaxTemperature.class);conf.setJobName(MaxTemperature);FilelnputFormat.addlnputPath(conf, new Path(ar、gs[e]));FileOutputFormat.setOutputPath(conf, new Path(args(l]));conf.setMapperClass(MaxTemperatureMapper.class);conf.setReducerClass(MaxTemperatureReducer.class)';conf.setOutputKeyClass(Text.class);conf.setOutputValueClass(IntWritable.class);JobClient.runJob(conf);

?

?

那么你实现的这两个类是怎么分发到各个节点上去执行呢。

?

在执行这个Job时,Hadoop会把你的两个class打成一个jar包,然后自动分发到各个节点上去。

?

读书人网 >互联网

热点推荐