Kafka09-速答-尚硅谷

坐吃山猪2025-09-29 18:51

6-Kafka速答

### 文章目录

  • [6-Kafka速答](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [@toc](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.1 Kafka 核心组件](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.2 偏移量三剑客](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.3 Controller 选举（ZK 模式）](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.4 副本集合](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.5 Producer 发送流程（简）](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.6 ACK 应答策略](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.7 消息重复 & 丢失根因](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.8 Follower 拉取 Leader](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.9 Consumer 拉取消息](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.10 消费者重复 / 丢失](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)
  • [6.11 全局有序保证](#文章目录 6-Kafka速答 @[toc] 6.1 Kafka 核心组件 6.2 偏移量三剑客 6.3 Controller 选举（ZK 模式） 6.4 副本集合 6.5 Producer 发送流程（简） 6.6 ACK 应答策略 6.7 消息重复 & 丢失根因 6.8 Follower 拉取 Leader 6.9 Consumer 拉取消息 6.10 消费者重复 / 丢失 6.11 全局有序保证)

6.1 Kafka 核心组件

  • Broker：Kafka 服务器进程
  • Topic：逻辑消息队列
  • Partition：Topic 物理分片
  • Replica：分区副本
  • Leader / Follower：副本角色
  • Controller：集群"总管" Broker
  • ZK：旧版依赖 ZooKeeper 选举 Controller
  • Producer / Consumer / Consumer Group：生产与消费端

6.2 偏移量三剑客

缩写 全称 含义 可见性
LSO Log Start / Stable Offset ① 日志文件起始偏移量（文件名数字）<br>② 事务隔离级别可见性边界（read_committed 用） 事务型消费者
LEO Log End Offset 当前分区下一条待写入位置 内部使用
HW High Watermark 消费者可见"高水位"，< HW 的数据才允许被消费 所有消费者

6.3 Controller 选举（ZK 模式）

  1. 所有 Broker 监听 /controller 临时节点
  2. 谁创建成功谁当选；节点消失即触发重新选举
  3. 纪元（epoch）+1，防止脑裂

6.4 副本集合

  • AR = Assigned Replicas：分区全部副本
  • ISR = In-Sync Replicas：正在同步的副本（含 Leader），满足 replica.lag.time.max.ms
  • OSR = Out-of-Sync Replicas：落后副本
  • 动态伸缩：副本达标从 OSR→ISR，落后从 ISR→OSR

6.5 Producer 发送流程（简）

  1. 序列化 → 分区器选分区 → 累加器缓存
  2. Sender 线程批量发送 → 对应分区 Leader
  3. 等待 ACK → 更新元数据 / 重试

6.6 ACK 应答策略

acks 含义 吞吐 可靠性
0 发到网络缓冲区即返回 高 低
1 Leader 写盘即返回 中 中
-1/all ISR 全部写盘才返回 低 高（默认）

> 幂等 / 事务必须 acks=-1 且开启重试

6.7 消息重复 & 丢失根因

  • 丢失：禁重试 + 网络异常 / Leader 宕机
  • 重复：重试时网络抖动导致重复发送
  • 解决
    • 会话内重复：开启幂等（enable.idempotence=true）
    • 跨会话重复：使用事务 Producer

6.8 Follower 拉取 Leader

Follower 周期性发送 FetchRequest（携带当前 LEO）→ Leader 按 HW 截断数据返回 → Follower 写盘 → 更新自身 LEO → Leader 更新 HW

6.9 Consumer 拉取消息

Consumer 发送 FetchRequest（携带 offset）→ Broker 按 offset 顺序读日志 → 返回消息 → 本地处理 → 定时（或手动）提交 offset

6.10 消费者重复 / 丢失

  • 重复：自动提交间隔内崩溃，重启后从上次已提交 offset 重新消费
  • 丢失：已提交 offset 但消息未处理完即崩溃
  • 对策 ：
    • 手动同步 commitSync / 异步 commitAsync
    • 消费-处理-提交原子化（幂等处理或事务）

6.11 全局有序保证

  1. 生产有序
    • 单分区 + 序列号 + 在途请求缓冲区 ≤5
  2. 存储有序
    • 同一分区顺序追加写日志
  3. 消费有序
    • 单分区仅被组内一个消费者按 offset 顺序读取
      > 多分区无法保证全局有序，只能分区内有序
相关推荐
RobinXYuan5 小时前
【Kafka 源码手记】04 客户端如何找到 Broker
kafka·源码阅读
Linux实战笔记8 小时前
记一次消息队列选型对比线上排查：Kafka/RabbitMQ/Pulsar 技术选型
kafka·rabbitmq·高并发·pulsar·消息队列选型
Norris Huang9 小时前
Kafka Connect 与 Flink CDC 写入 Iceberg：Upsert 的代价，以及 S3 Tables 的真正价值
分布式·flink·kafka
张彦峰ZYF9 小时前
一条消息的丢与重：Kafka 与 RabbitMQ 可靠投递的确认、位点、死信与幂等全链路
后端·kafka·消息队列·rabbitmq·isr·解耦与削峰·丢失与重复
我不会起名字3222 天前
Kafka 分区数到底设几个：吞吐量、顺序性与 rebalance 代价的取舍
kafka·消息队列·调优·分区
starzy19902 天前
深度拆解 Kafka 源码：Producer 构造器装配了哪些核心组件
分布式·kafka
我不会起名字3222 天前
Go 写 Kafka 消费者：sarama 的 3 个坑与优雅退出写法
kafka·消息队列·go·sarama
RobinXYuan4 天前
【Kafka 源码手记】02 Kafka 的核心哲学：Everything Is A Log
kafka·源码阅读
Sayai4 天前
Kafka 2.8→3.9.1 跨大版本升级实战：ZooKeeper 同步升级、数据目录迁移与回滚预案全流程
大数据·运维·分布式·zookeeper·kafka
guo_wen_qiang6 天前
kafka重复消费
分布式·kafka
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02如何新建文件夹？ 电脑新建文件夹的4种方法03历年考研数学一、数学二、数学三真题试卷及答案PDF04GitHub 镜像站点05「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会06几个好用的ip纯净度检测网站07苹果iPA游戏软件资源下载网站08昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战09乙二醇水溶液物性参数10Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）