Hadoop三大组件之MapReduce(二)

1. MapReduce框架原理

1. InputFormat
  • 定义:InputFormat负责定义输入数据的格式和如何进行切分(splitting)。它将输入数据分为多个片段(splits),每个片段会被一个MapTask处理。
  • 作用 :例如,TextInputFormat会将文本文件按行读取,而SequenceFileInputFormat则用于处理二进制文件。
2. Input
  • 定义:Input是指要被处理的原始数据,这些数据可以存储在HDFS(Hadoop分布式文件系统)中,也可以是其他支持的存储系统。
  • 作用:输入数据是整个MapReduce作业的起点,所有后续处理都基于这个数据展开。
3. Mapper
  • 定义:Mapper是MapReduce的一个核心组件,它负责将输入数据的每个片段进行处理,生成中间键值对(key-value pairs)。
  • 工作流程
    • 接收分配给它的输入Split。
    • 处理每一条记录,产生一组中间的数据(KV对)。
    • 例如,在单词计数程序中,Mapper会将每个单词映射为键,并将其计数(通常为1)作为值。
4. Shuffle
  • 定义:Shuffle是MapReduce框架中的一个关键步骤,负责将Mapper输出的中间数据根据键进行排序和分组。
  • 作用
    • 首先,框架会将相同键的所有中间数据聚集到一起。
    • 然后会把这些数据按照Reducer的数量分区,以便后续的Reducer可以并行处理。
    • Shuffle阶段通常包括排序和分区的过程。
5. ReduceTask
  • 定义:ReduceTask是MapReduce的第二个核心组件,负责处理从Shuffle阶段传入的中间键值对。
  • 工作流程
    • 每个ReduceTask接收属于自己的中间数据。
    • 它将这些数据合并并聚合,通常是对相同键的值进行处理,例如求和或计数。
    • 最终,ReduceTask会生成最终的输出结果。
6. Reducer
  • 定义:Reducer是执行ReduceTask的具体实现,负责接收、处理和输出数据。
  • 工作流程
    • 接收来自Shuffle阶段的键值对。
    • 对相同键的值进行聚合。
    • 将结果输出到指定的存储位置。
7. OutputFormat
  • 定义:OutputFormat定义了输出数据的格式和如何存储输出结果。
  • 作用 :它可以指定输出结果是写入到文本文件、序列文件或其他格式中。例如,TextOutputFormat会将结果写入文本文件。
8. Output
  • 定义:Output是Reduce阶段最终生成的结果数据,这些数据通常会被存储在HDFS中。
  • 作用:输出数据是整个MapReduce作业的最终结果,供后续处理或分析使用。

2. 数据块与数据切片

1. 数据块(Block)

在HDFS(Hadoop Distributed File System)中,数据块是物理上将数据分成一块块的单位,是HDFS存储数据的基本单位。每个数据块通常默认大小为128MB(可以根据需要进行调整),并分布在集群的不同节点上。

2. 数据切片(Input Split)

数据切片是在逻辑上对输入数据进行分块,它并不代表在磁盘上的物理切分。数据切片是MapReduce程序计算输入数据的单位,每个切片会对应启动一个MapTask。切片的数量和大小直接影响MapTask的并行度。


3. FileInputFormat 切片机制

FileInputFormat 是MapReduce中默认的输入格式,负责将输入数据划分为切片。其切片机制如下:

  1. 按照文件内容长度进行切片:切片的大小根据文件的字节数来决定。
  2. 切片大小:默认情况下,切片大小等于HDFS的Block大小。
  3. 针对每个文件单独切片:切片机制不考虑整个数据集,而是对每一个文件单独进行处理。

示例

假设有两个文件 file1.txtfile2.txt,经过 FileInputFormat 切片机制后形成的切片信息如下:

  • file1.txt.split1:0-128
  • file1.txt.split2:128-256
  • file1.txt.split3:256-320
  • file2.txt.split1:0-10M

4. FileInputFormat 切片大小参数配置

切片大小的计算公式

切片大小的计算公式为:

java 复制代码
Math.max(minSize, Math.min(maxSize, blockSize));
  • mapreduce.input.fileinputformat.split.min.size:默认值为1。
  • mapreduce.input.fileinputformat.split.max.size:默认值为 Long.MAX_VALUE

默认情况下,切片大小等于Block大小。

切片大小设置

  • maxSize(切片最大值):如果该参数设定小于Block大小,切片将变小,等于配置的参数值。
  • minSize(切片最小值):如果该参数设定大于Block大小,切片将可能变得比Block大小更大。

5. Map和Reduce数量设置

1.Map任务数量

  • Map任务数量通常由输入数据的分片数量决定。可以通过以下方式来调整:
    • 调整块大小(Block Size):改变HDFS中数据块的大小。
    • 调整分片大小(Split Size):通过配置参数来改变分片的逻辑划分。

2.Reduce任务数量

  • Reducer的数量可以根据以下公式进行设置:
java 复制代码
Reduce数量=min(参数2,总数据量/参数1)
  • Reducer个数由Partition个数决定,Mapper生成的中间数据通过Shuffle过程进行分区,每个Partition的数据由对应的一个Reducer进行处理。因此,Reducer的数量始终大于或等于分区的数量。
  • Partition:每个Mapper在处理数据时,会根据预定义的分区函数(通常是哈希函数)来决定每个输出的键值对应该被发送到哪个Reducer。这意味着在Mapper输出时,已经在逻辑上将数据分配到了相应的分区。

6. 环形缓冲区的作用

环形缓冲区是为了解决数据传输和处理效率而设计的,它在Map和Reduce阶段之间扮演着至关重要的角色。其主要作用包括:

  1. 内存数据传输

    • 环形缓冲区允许在内存中进行数据传输,避免频繁的磁盘IO操作,从而提升处理速度。传统的Map和Reduce之间的数据传输依赖于磁盘,这会增加延迟和降低效率。
  2. 数据整理与排序

    • 在多个Map任务的输出数据被送入Reduce之前,环形缓冲区能够对这些数据进行整理和排序。这使得Reduce任务可以更高效地处理数据。
  3. 避免重复读取与写入

    • 环形缓冲区能够减少Map和Reduce之间数据的重复读取和写入,从而节省网络带宽。
  4. 内存重用

    • 环形缓冲区的设计允许重复利用内存,而无需频繁申请新的内存块。这有助于规避垃圾回收机制引发的性能问题。
  5. 结构组成

    • 环形缓冲区包含三个部分:空闲区、数据区和索引区。初始位置叫做equator,数据从equator的左侧写入,索引从右侧写入。当数据和索引的大小达到环形缓冲区的80%时,系统会进行以下操作:
      1. 在原地对已写入的数据进行快速排序,并将这些排好序的数据和索引spill到磁盘上。
      2. 更新equator的位置,并冲洗出旧的数据和索引。
      3. 如果在空闲的20%区域写入数据时,之前的80%数据尚未写入磁盘,程序将会进入待处理状态,直到有足够空间可供写入。

7. MapReduce的三次排序

在MapReduce的过程中,共进行了三次排序:

  1. Map输出排序

    • 当Map任务输出数据时,首先将数据写入环形缓冲区。达到阈值后,后台线程会将缓冲区的数据划分为相应的分区,并在每个分区内进行内排序。这一过程确保了Map阶段的输出是有序的。
  2. 溢写文件合并排序

    • 在Map任务完成之前,磁盘上会生成多个已分区且排好序的溢写文件。这些溢写文件的大小与缓冲区一致。合并这些文件时,仅需进行一次排序即可使最终输出文件整体有序。
  3. Reduce阶段的合并排序

    • 在Reduce阶段,将多个Map任务的输出文件复制到Reduce Task中进行合并。由于这些文件已经经过二次排序,因此在合并时再次排序可以确保输出文件的有序性。
相关推荐
陈王卜3 分钟前
django+boostrap实现发布博客权限控制
java·前端·django
小码的头发丝、3 分钟前
Spring Boot 注解
java·spring boot
java亮小白19978 分钟前
Spring循环依赖如何解决的?
java·后端·spring
飞滕人生TYF14 分钟前
java Queue 详解
java·队列
Yz987632 分钟前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
武子康36 分钟前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
武子康38 分钟前
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本
java·大数据·数据仓库·hive·hadoop·mysql
苏-言44 分钟前
Spring IOC实战指南:从零到一的构建过程
java·数据库·spring
界面开发小八哥1 小时前
更高效的Java 23开发,IntelliJ IDEA助力全面升级
java·开发语言·ide·intellij-idea·开发工具
草莓base1 小时前
【手写一个spring】spring源码的简单实现--容器启动
java·后端·spring