博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Word Count Example of Hadoop V1.0 – Mapper的实现
阅读量:5788 次
发布时间:2019-06-18

本文共 1475 字,大约阅读时间需要 4 分钟。

本文继续来看Mapper的实现。

Mapper

01 public static class Map02         extends Mapper
 {03     private final static IntWritable one = new IntWritable(1);04     private Text word = new Text();05 06     public void map(LongWritable key, Text value, Context context)07             throws IOException, InterruptedException {08         String line = value.toString();09         StringTokenizer tokenizer = new StringTokenizer(line);10         while (tokenizer.hasMoreTokens()) {11             word.set(tokenizer.nextToken());12             context.write(word, one);13         }14     }15 }

我们实现了Driver中指定的Map.class,这个类继承自Mapper<LongWritable, Text, Text, IntWritable>,其中四个类型以此是input的key和value,和Mapper输出的Key和Value。

03     private final static IntWritable one = new IntWritable(1);04     private Text word = new Text();

这两行是定义mapper的输出,看类型就能看出来,Text是mapper输出的key,IntWritable是mapper输出的value。

06     public void map(LongWritable key, Text value, Context context)

继承Mapper就要实现map函数,LongWritable和Text即mapper的输入,Context是mapper和Hadoop系统交互的工具。它可以存储配置数据,还能输出key-value。

getConfiguration()方法返回一个,里面包含了Hadoop Job的配置数据。程序员可以在配置数据里加入任意的key-value对(例如:Job.getConfiguration().set(“Key”, “Value”)),当然,也可以把它读出来(Context.getConfiguration().get(“Key”))。这种功能一般会在Mapper的方法里面实现。

map(KeyInType, ValInType, Context)是由方法调用的。map方法处理数据后,通过方法输出。

在mapper结束后,应用程序可以通过重载Mapper的方法来做一些需要的收尾工作。

Mapper的输出对的类型不需要和输入对的类型一致,而且给定一个输入对,可以对应于0个或多个输出对。

Context的另一个作用是report progress,可以像Hadoop Job发送任何应用层的状态信息,或者只是告诉别人自己还活着。

转载地址:http://fimyx.baihongyu.com/

你可能感兴趣的文章
花钱删不完负面消息
查看>>
JBPM之JPdl小叙
查看>>
Membership三步曲之进阶篇 - 深入剖析Provider Model
查看>>
前端优化及相关要点总结
查看>>
struts2中form提交到action中的中文参数乱码问题解决办法(包括取中文路径)
查看>>
25 个精美的手机网站模板
查看>>
C#反射实例应用--------获取程序集信息和通过类名创建类实例
查看>>
VC中实现文字竖排的简单方法
查看>>
会话标识未更新
查看>>
阿里架构师:程序员必须掌握的几项核心技术能力
查看>>
程序员常用的六大技术博客类
查看>>
Iceworks 2.8.0 发布,自定义你的 React 模板
查看>>
胖哥学SpringMVC:请求方式转换过滤器配置
查看>>
Kotlin 更加优雅的 Builder - 理解 with
查看>>
前端日拱一卒D6——字符编码与浏览器解析
查看>>
深入理解浏览器的缓存机制
查看>>
微软向Linux社区开放60000多项专利:对开源微软是认真的
查看>>
Hoshin Kanri在丰田的应用
查看>>
又拍云沈志华:如何打造一款安全的App
查看>>
克服大数据集群的挑战
查看>>