大数据工具-Flink

1. Flink公司架构

架构：主从（Master-Slave）模式

核心组件：Client（设计师-故障恢复） 、JobManager（派活-调度） 和 TaskManager（干活包头-数据处理），由此大家肯定看出来TaskManager还有很多干活的小弟（Task Slot）.

干活流程：

（1） 图纸设计 (Client)

• 角色 ：Client (项目设计师)

• 动作：

  • 用户编写代码（定义 Source, Map, Sink 等算子）。

  • Client 将代码转换成 JobGraph（初步施工图纸）。

  • 提交 ：Client 把图纸发给 JobManager，然后就可以"下班"了。

（2） 任务分配与资源筹备 (JobManager)

• 角色 ：JobManager (总包工头)

  • Dispatcher (前台接待)：接收 Client 提交的图纸。

  • JobMaster (现场经理)：每个项目配一个，负责把JobGraph 细化为物理施工图(ExecutionGraph)，决定哪个算子去哪个机器跑。

  • ResourceManager (物资部长)：负责找机器。如果集群资源不够，它会向 YARN/K8s 申请新的 TaskManager (招新工人)。

• 动作：

  • JobMaster 向 ResourceManager 申请资源（Slots）。

  • ResourceManager 协调现有的 TaskManager 上报空闲的 Slot (工位)。

（3） 正式干活 (TaskManager & Slots)

• 角色 ：TaskManager (包工头) & Task Slot (具体干活的工人)

• 动作：

  • 部署：JobManager 把具体的任务代码下发给 TaskManager 的特定 Slot。

  • 执行：Slot 开始处理数据流。

    • Task Chaining (任务链)：为了效率，JobManager 会把多个小任务（如 Map -> Filter）串起来，交给同一个 Slot 一口气做完，减少传递损耗。

  • 数据交换 (Shuffle)：如果需要跨机器传数据（比如 GroupBy），不同 TaskManager 之间会通过网络直接传输。

（4） 监工与备份 (容错机制)

• 角色 ：JobManager (监工) & TaskManager (记录员)

• 动作：

  • 心跳检测：TaskManager 定期向 JobManager 报平安（心跳）。

  • Checkpoint (检查点)：

    • JobManager 定期喊一声："大家停一下手里的活，把当前进度存个档！"

    • 所有 TaskManager 将内存中的状态快照保存到持久化存储（如 HDFS/S3）。

  • 故障恢复：

    • 如果某个 TaskManager 挂了（断电/宕机），JobManager 发现心跳丢失。

    • JobManager 立即指挥其他健康的 TaskManager，利用最近一次的 Checkpoint 存档，重新拉起任务 ，从断点继续干。(注意：这里才是故障恢复的核心，Client 不参与)。

关于Flink怎么处理反压和数据倾斜

后续还在学习更新中。