MapReduce 的工作原理

MapReduce 是一种编程模型,用于大规模数据集的并行运算。它主要包含两个核心操作:Map(映射)和 Reduce(归约),其工作原理可以细分为以下几个关键步骤:

1. 输入分片(Input Splitting)

在开始处理数据之前,输入数据会被分割成多个较小的数据块,即输入分片(Input Split)。每个分片是一个独立的工作单元,可由不同的 Map 任务并行处理。分片的大小通常根据 HDFS 块大小来确定,这样可以保证每个分片都能在一个节点上高效地处理,减少数据传输开销。

2. Map 阶段

  • 数据读取:每个 Map 任务从对应的输入分片中读取数据,通常以键值对(Key-Value)的形式进行处理。例如,在文本处理中,键可能是行号,值可能是每行的文本内容。
  • 映射处理:Map 函数对输入的键值对进行处理,生成一组中间键值对。这些中间键值对是对输入数据的初步转换和处理结果。例如,在单词计数任务中,Map 函数会将每行文本拆分成单词,并为每个单词生成一个键值对,键为单词,值为 1,表示该单词出现了一次。
  • 本地聚合(可选):为了减少数据传输量,Map 任务可以在本地对中间结果进行聚合操作。例如,在单词计数任务中,Map 任务可以先统计本地出现的每个单词的数量,然后再将结果发送给 Reduce 任务。

3. 分区(Partitioning)

Map 任务生成的中间键值对会根据键的哈希值进行分区,每个分区对应一个 Reduce 任务。分区的目的是将具有相同键的键值对发送到同一个 Reduce 任务中进行处理,确保最终的归约结果是正确的。

4. 排序和分组

在分区之后,中间键值对会按照键的顺序进行排序,并将具有相同键的键值对分组在一起。这样,每个 Reduce 任务接收到的键值对都是按照键排序的,并且相同键的所有值都被聚集在一起。

5. Shuffle 和 Sort 阶段

  • Shuffle:将 Map 任务产生的中间结果从 Map 节点传输到对应的 Reduce 节点的过程称为 Shuffle。这个过程涉及到网络传输和磁盘 I/O,是 MapReduce 中比较耗时的环节。
  • Sort:在 Reduce 节点上,接收到的中间结果会按照键进行排序,确保相同键的所有值都相邻排列。

6. Reduce 阶段

  • 归约处理:Reduce 函数对每个键对应的一组值进行处理,生成最终的输出结果。例如,在单词计数任务中,Reduce 函数会对每个单词对应的所有值(即出现次数)进行求和,得到该单词的总出现次数。
  • 输出结果:Reduce 任务将处理后的结果写入到最终的输出文件中,通常存储在 HDFS 中。

7. 输出合并

所有 Reduce 任务完成后,最终的输出结果会被合并成一个或多个文件,存储在指定的输出目录中。

相关推荐
你觉得20517 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙17 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊17 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清17 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
SelectDB技术团队20 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得20520 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国20 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy21 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记21 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go