在 Apache Flink 中，任务槽（Task Slot） 和 槽共享组（Slot Sharing Group） 是资源管理和任务调度的关键机制。它们决定了 Flink 如何在集群中分配资源并执行任务。
一、任务槽（Task Slot）
1. 定义
Task Slot是 TaskManager 提供的资源单位，代表一个独立的线程或资源隔离单元。- 每个
Slot可以运行多个 SubTask（来自不同 JobVertex），但这些 SubTask 必须属于同一个 Job，并且可以共享 Slot。
2. 配置方式
yaml
# flink-conf.yaml
taskmanager.numberOfTaskSlots: 4- 一个 TaskManager 可以配置多个 Slot（例如 4 个）。
- 每个 Slot 默认拥有相同的内存资源（可通过
taskmanager.memory.task.heap.size等参数精细控制）。
3. Slot 的作用
| 作用 | 描述 |
|---|---|
| 资源隔离 | Slot 是资源分配的基本单位，限制并发任务数。 |
| 并行度支持 | 一个 Job 的并行度不能超过 Slot 总数。 |
| 资源利用率 | 合理设置 Slot 数量可提升资源利用率和吞吐量。 |
二、槽共享（Slot Sharing）
1. 定义
- 槽共享（Slot Sharing） 是指多个 Operator 或 SubTask 可以运行在同一个 Slot 中。
- 这是 Flink 优化资源利用的重要机制，避免为每个 Operator 单独分配 Slot。
2. Slot Sharing Group
- 通过
slotSharingGroup()方法将一组 Operator 分配到同一个槽共享组。 - 同一个组内的 Operator 可以共享 Slot，即可以在同一个 Slot 中执行。
示例代码：
java
stream.map(new MyMapper()).name("Mapper").slotSharingGroup("group1");
stream.keyBy(...).process(new MyProcessFunction()).name("Processor").slotSharingGroup("group1");- 上述两个 Operator 属于同一个 Slot Sharing Group，Flink 将尝试将它们部署在同一个 Slot 中。
三、Slot 共享的条件
| 条件 | 描述 |
|---|---|
| 同一个 Job | 只有同一个 Job 的 Operators 才能共享 Slot。 |
| 相同 Slot Sharing Group | Operator 必须属于同一个 Slot Sharing Group。 |
| 不需要网络传输 | 如果两个 Operator 之间是一对一连接（如 map → map），可以共享 Slot。 |
| Keyed Stream | Keyed Operators 可以共享 Slot，前提是它们的 key 分布一致。 |
四、Slot 分配策略
1. Slot 分配流程
- Flink Scheduler 根据 JobGraph 构建 ExecutionGraph。
- 根据 Slot Sharing Group 和并行度，将 SubTasks 分配到各个 Slot。
- 每个 Slot 包含多个连续的 Operators（SubTasks），形成 Operator Chain。
2. Slot 分配示意图
假设一个 Job 包含如下结构：
Source → Map → Filter → Sink如果所有 Operators 都允许共享 Slot，则整个链可能被分配到一个 Slot 中。
五、资源分配与并行度关系
| TaskManager 数量 | Slot 数量/TaskManager | 最大并行度 |
|---|---|---|
| 2 | 4 | 8 |
| 3 | 2 | 6 |
| 1 | 8 | 8 |
注意：Job 的并行度不能超过 Slot 总数。
六、高级配置与优化建议
| 配置项 | 描述 |
|---|---|
default_slot_sharing_group |
默认 Slot Sharing Group 名称 |
slot.model.type |
设置为 SHARED 或 DEDICATED 控制是否启用共享 |
execution.checkpointing.min-pause-between-checkpoints |
避免 Checkpoint 对 Slot 使用造成影响 |
taskmanager.memory.managed.fraction |
控制 Slot 内存使用比例 |
七、总结对比表
| 概念 | 描述 | 是否默认启用 |
|---|---|---|
| Task Slot | TaskManager 的资源单位 | ✅ 默认启用 |
| Slot Sharing | 多个 Operator 共享一个 Slot | ✅ 默认启用 |
| Slot Sharing Group | 自定义分组控制共享范围 | ❌ 默认不设置 |
| DEDICATED Slot | 强制 Operator 独占 Slot | ✅ 支持 |