MapReduce 基础介绍
- 起源与发展：是 2004 年 10 月谷歌发表的 MAPREDUCE 论文的开源实现，最初用于大规模网页数据并行处理，现成为 Hadoop 核心子项目之一，是面向批处理的分布式计算框架。
- 基本原理：分为 map 和 reduce 两个阶段。map 阶段将计算任务分发到数据节点并行运算，各节点得出部分结果；reduce 阶段汇总部分结果得到最终结果，体现分而治之与并行运算思想，遵循计算跟着数据走、移动计算而非数据的原则。
MapReduce 特点
- 计算与数据关系：计算任务移动到数据所在节点，数据不动，降低分布式编程门槛。
- 扩展性：具有良好扩展性，随着节点增加，存储和计算能力近乎线性递增。
MapReduce 适用场景
- 离线批处理任务：适合海量数据离线批处理，如数据统计（PVUV 统计）、搜索引擎索引构建、海量数据查询、复杂数据分析算法实现等。
MapReduce 不适用场景
- 实时性要求高的场景：不适合毫秒或秒级返回结果的场景，如 OLAP、流计算，因其计算效率达不到实时性要求，且无法处理无界数据集和支持实时计算模式。
- DAG 运算场景：不能进行有向无环图（DAG）运算，由于中间结果需落盘、读盘和网络传输，导致延迟高、效率低。
MapReduce 与 Spark 在 DAG 运算上的对比
- MapReduce 的劣势：做 DAG 运算慢，中间结果落盘、读盘和网络传输过程繁琐，效率低。
- Spark 的优势：支持 DAG 运算，数据存于内存，可直接将结果给到下一个任务计算，速度快，但存在内存不足问题。
MAPREDUCE 作业运行原理与词频统计示例
- 以词频统计展示 MAPREDUCE 作业运行原理，即统计英文文本中单词出现频率。
- 若文本存于 HDFS，其自动进行 split 操作；若未存于 HDFS，则按 128 兆一块进行数据块拆分，每个数据块启动一个 map task。
map 任务处理过程
- map task 将每行文本按空格拆分单词，把单词作为 K，给每个单词标 value 值为 1，形成 K-V 形式中间结果。
reduce 节点聚合操作
- 把相同 K 的数据分发到同一个 reduce 节点进行聚合，将相同 K 的 value 值累加得到最终词频结果，其中难点在于如何把相同 K 分发到同一 reduce，此过程需经过 shuffle（洗牌）阶段。
哈希取模分发机制
- shuffle 阶段通过哈希取模实现分发，先将字符串形式的 K 进行数字编码，再对 reducer 个数进行哈希取模（即转换后的数字除以 reducer 个数取余数），余数对应相应的 reduce 节点，以此保证相同 K 能聚合到同一 reducer。
生产中 reduce 个数设置
- 生产中 reduce 个数可手动指定，实际应用中可能不像示例中有较多 reduce，如可能只有两个 reduce，此时单词会按哈希取模结果分发到这两个 reduce 中进行处理。
map reduce 执行流程
- 文件拆分与 map 任务启动：文件上传至 HDFS 后会自动进行 split，拆分成多个 block，每个 block 启动一个 map 任务。
- map 任务处理与分组：map 任务处理数据得到 key-value 结果，并依据 key 对 reduce 个数进行哈希取模分组。例如有三个 reduce，则按对三取模结果分为三组。
- reduce 任务拉取与处理：reduce 任务启动 fetch 线程，从各 map 拉取对应组数据，将来自多个地方的同组数据合并为一个大文件后，对文件按 key 进行 reduce 处理（如词频统计中对相同 key 的 value 累加求和），每个 reducer 会输出一个结果文件存于同一目录下，这些文件总和即为最终结果。
执行阶段划分
- 按任务划分：分为 map task 和 reduce task。
- 按运行阶段划分：包括 split 阶段、shuffle 阶段、reduce 阶段及输出阶段。其中 shuffle 阶段由 map task 和 reduce task 共同完成，map task 负责对内存缓存区（100 兆，达 80%即 80 兆时触发）的数据进行分组排序并落盘，可能产生多个小文件后再合并成大文件；reduce task 从 map 拉取数据到缓存（有阈值，超阈值也会落盘），同样要对数据合并、分组排序后再进行 reduce 处理。
shuffle 阶段详细分析
- map 端操作：map 运算结果存放在 100 兆内存缓存区，达到 80 兆时触发溢写到磁盘，同时进行分组排序，根据 reduce 个数哈希取模分组并在组内排序，多次溢写会生成多个分组有序小文件，最后需合并成大的分组有序文件。
- reduce 端操作：reduce 启动 fetch 线程从 map 拉取数据到缓存，缓存达到阈值后溢写生成小文件，再合并成大文件并进行分组排序（按 K 值分组排序），最后对分组有序文件进行 reduce 处理。
- 效率问题：shuffle 阶段是 map reduce 执行慢的关键。其在 map 和 reduce 过程中大量数据落盘，且 reduce 拉取数据时存在大量网络传输，内存缓存使用量小（仅几百兆），频繁与磁盘交互及网络传输导致整体效率低下。
作业提交与运行
- 提交方式 ：使用
hadoop -jar命令提交作业，需指定 jar 包名称及要运行的主类名，并可添加参数。例如，官方示例包中运行 MAREDUCE 作业统计π值时，需按此方式提交。 - 作业管理 ：通过
yarn application - list查看作业运行情况，用yarn application -kill取消作业。
作业运行监控
- 运行状态显示 ：作业提交后会生成作业 id，运行时控制台会实时显示 map 和 reduce 的进度信息。需注意，按
CTRL + C只能中断控制台输出，无法终止后台作业。 - 可视化监控 ：可访问yarn集群主节点的 8088 端口进入可视化监控页面，在
applications中找到正在运行的作业，点击作业 id 查看详细运行情况。
日志查看与排错
- 查看途径 ：除可视化界面外，可在作业运行节点查找日志。运维人员可登录节点，依据
yarn node manager相关配置找到日志存储目录（通常在log目录下），查看作业输出日志以分析运行状况。普通用户一般通过可视化界面查看日志。 - 排错方法：从日志信息中排查和解决作业运行问题。