MapReduce完整工作流程

1、mapreduce工作流程(终极版)

  1. 任务提交

  2. 拆-split逻辑切片--任务切分。 FileInputFormat--split切片计算工具 FileSplit--单个计算任务的数据范围。

  3. 获得split信息和个数。

MapTask阶段

  1. 读取split范围内的数据。k(偏移量)-v(行数据)

关键API:TextInputFormat。

  1. 循环调用mapper.map(k,v) 关键代码:

while(xx.next){ mapper.map(k,v); }

  1. mapper.map执行完毕后,输出k-v,调用k-v的分区计算

Partitioner.getPartition(k,v,reduceTask数量)--分区号。

  1. 将输出k-v{分区号},存入临时缓冲区。环形缓冲区。

MapOutputBuffer--环形缓冲区。

  1. 如果缓冲区写满80%(mapper代码执行完毕),触发spill溢写过程。

① 读取k-v{分区号},对溢写范围内的数据进行排序。

② 存放到本地磁盘文件中,产生分区内的溢写文件。

  1. 溢写完毕后,产生多个溢写文件

① 将多个溢写文件合并成1个有序---归并排序。

② combiner(分区 合并 调用reducer--局部reduce操作)【如果开启】

结果: 每个MapTask执行完毕后本地磁盘,每个分区(目录)内只有一个文件。(Key有序)

ReduceTask阶段

  1. 从各个MapTask节点下载对应分区的结果文件。

MapTask(分区0文件)

MapTask(分区0文件)→ ReduceTask-0

MapTask(分区0文件)

  1. merge操作

① 排序

② 按照key分组

③ 将key相同的多个value--->[v,v,v,v]

  1. 循环调用Reducer.reduce方法处理数据

while(xxx){ reducer.reduce(k,vs); }

  1. reducer.reduce输出key-value,将数据写入HDFS中。

TextOutputForamt 格式化数据的工具类

FileOutputFormat 指定输出HDFS的路径位置。

整个过程简述:

任务提交,根据文件大小切分Split逻辑切片,一个逻辑切分会启动一个Maptesk任务,Maptask会循环读取block块上的数据输出key和value,然后进行分区计算将输出的k、v存入临时缓冲区,缓冲区写满80%后会产生溢写文件(多个),然后将不同分区的多个溢写文件合并为一个溢写文件作为该阶段的输出文件。通过网络传输进入reduceTesk阶段,将不同split逻辑切分中的相同的分区号文件进行合并为一个文件(merge操作),作为reduceeTesk的输入文件,循环调用Reducer.reduce方法执行任务,将数据写入HDFS中。

2、Spill溢写过程详解

发生在MapReduce过程中的排序:

第一次: MapTask阶段环形缓冲区开始spill溢写,缓冲区每次溢写,发生一轮排序。 快排排序

第二次: Maptask多次溢写产生的多个溢写文件(单个文件每部k有序),要做归并排序,maptask每个分区内,只保留1个文件(key有序) 归并排序

第三次: ReduceTask-0 汇总多个MapTask的(对应分区-0)结果文件,归并排序

3、Shuffle过程详解

简言:站在数据的角度来讲,数据从Mapper.map方法离开,一直到数据进入Reducer.reduce方法,中间的过程。

Mapper阶段

  1. 循环调用mapper.map(k,v) 关键代码:

while(xx.next){ mapper.map(k,v); }

  1. mapper.map执行完毕后,输出k-v,调用k-v的分区计算

Partitioner.getPartition(k,v,reduceTask数量)--分区号。

  1. 将输出k-v{分区号},存入临时缓冲区。环形缓冲区。

MapOutputBuffer--环形缓冲区。

  1. 如果缓冲区写满80%(mapper代码执行完毕),触发spill溢写过程。

① 读取k-v{分区号},对溢写范围内的数据进行排序。

② 存放到本地磁盘文件中,产生分区内的溢写文件。

ReduceTask阶段

  1. 从各个MapTask节点下载对应分区的结果文件。

MapTask(分区0文件)

MapTask(分区0文件)→ ReduceTask-0

MapTask(分区0文件)

  1. merge操作

① 排序

② 按照key分组

③ 将key相同的多个value--->[v,v,v,v]

  1. 循环调用Reducer.reduce方法处理数据

while(xxx){ reducer.reduce(k,vs); }

相关推荐
MQ_SOFTWARE6 小时前
文件权限标记机制在知识安全共享中的应用实践
大数据·网络
花下的晚风7 小时前
模拟flink处理无限数据流
大数据·flink
小悟空7 小时前
[AI 生成] Flink 面试题
大数据·面试·flink
livemetee8 小时前
Flink2.0学习笔记:Stream API 常用转换算子
大数据·学习·flink
AutoMQ9 小时前
技术干货|为什么越来越多企业放弃 Flink/Spark,用 AutoMQ 替代传统 ETL?
大数据
zxsz_com_cn11 小时前
智能化设备健康管理:中讯烛龙预测性维护系统引领行业变革
大数据·架构
Pigwantofly11 小时前
SpringAI入门及浅实践,实战 Spring‎ AI 调用大模型、提示词工程、对话记忆、Adv‎isor 的使用
java·大数据·人工智能·spring
拓端研究室11 小时前
专题:2025电商增长新势力洞察报告:区域裂变、平台垄断与银发平权|附260+报告PDF、原数据表汇总下载
大数据·人工智能
阿里云大数据AI技术12 小时前
[VLDB 2025]面向Flink集群巡检的交叉对比学习异常检测
大数据·人工智能·flink
青云交13 小时前
电科金仓 KingbaseES 深度解码:技术突破・行业实践・沙龙邀约 -- 融合数据库的变革之力
大数据·数据安全·数字化转型·kingbasees·企业级应用·融合数据库·多模存储