本文继续来看Mapper的实现。
Mapper
01 public static class Map02 extends Mapper{03 private final static IntWritable one = new IntWritable(1);04 private Text word = new Text();05 06 public void map(LongWritable key, Text value, Context context)07 throws IOException, InterruptedException {08 String line = value.toString();09 StringTokenizer tokenizer = new StringTokenizer(line);10 while (tokenizer.hasMoreTokens()) {11 word.set(tokenizer.nextToken());12 context.write(word, one);13 }14 }15 }
我们实现了Driver中指定的Map.class,这个类继承自Mapper<LongWritable, Text, Text, IntWritable>,其中四个类型以此是input的key和value,和Mapper输出的Key和Value。
03 private final static IntWritable one = new IntWritable(1);04 private Text word = new Text();
这两行是定义mapper的输出,看类型就能看出来,Text是mapper输出的key,IntWritable是mapper输出的value。
06 public void map(LongWritable key, Text value, Context context)
继承Mapper就要实现map函数,LongWritable和Text即mapper的输入,Context是mapper和Hadoop系统交互的工具。它可以存储配置数据,还能输出key-value。
getConfiguration()方法返回一个,里面包含了Hadoop Job的配置数据。程序员可以在配置数据里加入任意的key-value对(例如:Job.getConfiguration().set(“Key”, “Value”)),当然,也可以把它读出来(Context.getConfiguration().get(“Key”))。这种功能一般会在Mapper的方法里面实现。
map(KeyInType, ValInType, Context)是由方法调用的。map方法处理数据后,通过方法输出。
在mapper结束后,应用程序可以通过重载Mapper的方法来做一些需要的收尾工作。
Mapper的输出对的类型不需要和输入对的类型一致,而且给定一个输入对,可以对应于0个或多个输出对。
Context的另一个作用是report progress,可以像Hadoop Job发送任何应用层的状态信息,或者只是告诉别人自己还活着。