浅谈MapReduce编程二

?

五、输入格式InputFormat

??1、?实现了InputFormat接口的类负责输入文件的分片方式和读取。

???2、常用的InputFormat子类

TextInputFormat??:文件的每一行被记录，行的字节偏移量作为key,行的内容作为值

??????????????????Key:LongWritable,value:Text

KeyValueTextInputFormat:文件中的每一行被记录，每行中用一个分离器进行分离，分离?器前面的为Key，分离器后面的为value,分离器可以由key.value.separator.in.input指定。默认的分离器为（\t）Key:Text???Value:Text

SequenceFileInputFormat<K,V>?:可以作为Mapreduce任务中间传递。Key:用户自定义

?????????????????????????????Value：用户自定义

3、InputFormat接口原型

??????

 public interface InputFormat<K,V>{        InputSplit[] getSplits(JobConf job,int numSplits) throws IOException;        RecordReader<K,V> getRecordReader(InputSplit split,                      JobConf job,Reporter reporter)throws IOException;        }

?

?

???????InputFormat的实现类负责如下任务

???????????（1）确定作为输入数据的所有的输入文件，并把这些文件进行split操作。每个map任务处理一个split。

???????????（2）提供一个对象，对给定split中的records进行迭代操作，将每个record解析成预定义的<key,value>类型。

FileInputFormat实现了InputFormat接口，在这个类中已经实现了getSplits方法，getRecordReader方法并没有实现。将该方法的实现延迟到FileInputFormat子类去完成。

RecordReader的接口原型

???????

public interface  RecordReader<K,V>{       Boolean next(K key,V value)throws IOException;       K createKey();       V createValue();       Long getPos()throws IOException;      public void close() throws IOException;      Float getProgress()  throws IOException;      }

?

?

?

? Hadoop中实现的RecordReader接口的子类有：LineRecordReader、KeyValueLineRecordReader