Kafka09-速答-尚硅谷

6-Kafka速答

### 文章目录

[6-Kafka速答](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[@[toc]](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.1 Kafka 核心组件](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.2 偏移量三剑客](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.3 Controller 选举（ZK 模式）](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.4 副本集合](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.5 Producer 发送流程（简）](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.6 ACK 应答策略](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.7 消息重复 & 丢失根因](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.8 Follower 拉取 Leader](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.9 Consumer 拉取消息](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.10 消费者重复 / 丢失](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
[6.11 全局有序保证](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)

6.1 Kafka 核心组件

Broker：Kafka 服务器进程
Topic：逻辑消息队列
Partition：Topic 物理分片
Replica：分区副本
Leader / Follower：副本角色
Controller：集群"总管" Broker
ZK：旧版依赖 ZooKeeper 选举 Controller
Producer / Consumer / Consumer Group：生产与消费端

6.2 偏移量三剑客

缩写	全称	含义	可见性
LSO	Log Start / Stable Offset	① 日志文件起始偏移量（文件名数字）<br>② 事务隔离级别可见性边界（read_committed 用）	事务型消费者
LEO	Log End Offset	当前分区下一条待写入位置	内部使用
HW	High Watermark	消费者可见"高水位"，< HW 的数据才允许被消费	所有消费者

6.3 Controller 选举（ZK 模式）

所有 Broker 监听 /controller 临时节点
谁创建成功谁当选；节点消失即触发重新选举
纪元（epoch）+1，防止脑裂

6.4 副本集合

AR = Assigned Replicas：分区全部副本
ISR = In-Sync Replicas：正在同步的副本（含 Leader），满足 replica.lag.time.max.ms
OSR = Out-of-Sync Replicas：落后副本
动态伸缩：副本达标从 OSR→ISR，落后从 ISR→OSR

6.5 Producer 发送流程（简）

序列化 → 分区器选分区 → 累加器缓存
Sender 线程批量发送 → 对应分区 Leader
等待 ACK → 更新元数据 / 重试

6.6 ACK 应答策略

acks	含义	吞吐	可靠性
0	发到网络缓冲区即返回	高	低
1	Leader 写盘即返回	中	中
-1/all	ISR 全部写盘才返回	低	高（默认）

> 幂等 / 事务必须 acks=-1 且开启重试

6.7 消息重复 & 丢失根因

丢失：禁重试 + 网络异常 / Leader 宕机
重复：重试时网络抖动导致重复发送
解决
- 会话内重复：开启幂等（enable.idempotence=true）
- 跨会话重复：使用事务 Producer

6.8 Follower 拉取 Leader

Follower 周期性发送 FetchRequest（携带当前 LEO）→ Leader 按 HW 截断数据返回 → Follower 写盘 → 更新自身 LEO → Leader 更新 HW

6.9 Consumer 拉取消息

Consumer 发送 FetchRequest（携带 offset）→ Broker 按 offset 顺序读日志 → 返回消息 → 本地处理 → 定时（或手动）提交 offset

6.10 消费者重复 / 丢失

重复：自动提交间隔内崩溃，重启后从上次已提交 offset 重新消费
丢失：已提交 offset 但消息未处理完即崩溃
对策：
- 手动同步 commitSync / 异步 commitAsync
- 消费-处理-提交原子化（幂等处理或事务）

6.11 全局有序保证

生产有序
- 单分区 + 序列号 + 在途请求缓冲区 ≤5
存储有序
- 同一分区顺序追加写日志
消费有序
- 单分区仅被组内一个消费者按 offset 顺序读取
  > 多分区无法保证全局有序，只能分区内有序