首页 理论教育 Mapper和Reducer类的作用

Mapper和Reducer类的作用

时间:2023-06-26 理论教育 版权反馈
【摘要】:Mapper类主要包含setup、map、cleanup和run四个方法。run方法确定了setup-map-cleanup的执行模板。抽象类Mapper位于org.apache.hadoop.mapreduce,Mapper四个参数分别指定函数的输入键,输入值,输出键,输出值。setup方法在任务开始时调用一次,一般用来做reduce方法前的准备工作;reduce方法承担主要的处理工作,把输入数据拆分为键值对;cleanup方法则是在任务结束时调用一次,主要负责收尾工作;run方法确定了setup-reduce-cleanup的执行模板。需要注意是,Reducer的输入类型必须匹配Mapper的输出类型。

Mapper和Reducer类的作用

(1)Mapper类。

Mapper类主要包含setup、map、cleanup和run四个方法。setup方法在任务开始时调用一次,一般用来做map前的准备工作;map方法承担主要的处理工作,map方法的输入是一个键和一个值,输出是一个Context实例。cleanup方法则是在任务结束时调用一次,主要负责收尾工作。run方法确定了setup-map-cleanup的执行模板。抽象类Mapper位于org.apache.hadoop.mapreduce,Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>四个参数分别指定函数的输入键,输入值,输出键,输出值。

(2)Reducer类。(www.xing528.com)

Reducer类同样主要包括四个setup、cleanup、reduce和run四个方法。setup方法在任务开始时调用一次,一般用来做reduce方法前的准备工作;reduce方法承担主要的处理工作,把输入数据拆分为键值对;cleanup方法则是在任务结束时调用一次,主要负责收尾工作;run方法确定了setup-reduce-cleanup的执行模板。抽象类Reducer位于org.apache.hadoop.mapreduce.Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>,其中,四个参数分别指定函数的输入键,输入值,输出键,输出值。需要注意是,Reducer的输入类型必须匹配Mapper的输出类型。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈