4.Kafka-LEO+HW的定义与特性+工作流程

核心概念定义与特性

LEO和HW是Kafka数据一致性和副本同步状态的两个核心内容。

LEO(Log End Offset,日志末端偏移量)

定义:分区中最新的一条消息的偏移量+1,也就是下一条将要被写入的消息的偏移量位置。

特性:

  • 每个副本都有自己的LEO(Leader 和 Follower 各自维护自己的 LEO)。
  • 这是一个实时变化的值,每当有新的消息被追加到日志中,LEO 就会递增
  • LEO 代表的是副本的"当前写入位置"

HW(High Watermark,高水位线)

定义:已成功复制到所有 ISR 副本的消息的偏移量界限。

更精确地说:HW 代表的是一个偏移量,消费者只能消费到 HW 之前(不包括 HW 指向的位置)的消息。

特性:

  • 对于同一分区的所有 ISR 副本,HW 是相同的(由 Leader 计算并同步给 Follower)。
  • HW 总是小于等于所有 ISR 副本的 LEO 的最小值。即:HW = min(ISR所有副本的LEO),这个规则非常关键。
  • HW 之前的消息被认为是 "已提交(Committed)" 的,是安全、不会丢失的。

可以看到上图,LEO所在位置是每一个partition的log中的最后一条Message的位置。HW是ISR集合中最小的LEO。HW之前的数据才是Commit后的,这些内容对消费者可见。HW以及HW位置后的内容,消费者不可见。

详细工作流程

为了能够正确理解他们的工作流程,我举个例子来说明。

初始状态

假设有一个分区,ISR 包含 Leader (L),Follower1 (F1),Follower2 (F2)。

  • 当前所有副本都同步,假设最后一条消息偏移量是 5。

  • 那么 LEO_L = 6, LEO_F1 = 6, LEO_F2 = 6。

  • 计算 HW = min(6, 6, 6) = 6。

  • 消费者可以消费到偏移量 0-5 的消息。

新消息写入过程

步骤1:生产者发送新消息 M6 到 Leader

  • Leader 在本地追加消息 M6,分配偏移量 6。

  • Leader 的 LEO 从 6 变为 7。

  • Follower 尚未同步,因此 Follower 的 LEO 仍为 6。

步骤2:Leader 计算 HW

  • HW = min(LEO_L=7, LEO_F1=6, LEO_F2=6) = 6

  • HW 仍为 6,没有变化。

  • 消息 M6(偏移量 6)对消费者不可见,因为它尚未被所有 ISR 副本复制。

步骤3:Follower 开始同步

  • Follower 向 Leader 发送 Fetch 请求。

  • Leader 将消息 M6(偏移量 6)发送给 Follower。

  • F1 成功写入,LEO_F1 变为 7。

  • F2 因为网络较慢,还在处理中,LEO_F2 仍为 6。

步骤4:Leader 更新 HW

  • HW = min(LEO_L=7, LEO_F1=7, LEO_F2=6) = 6

  • HW 仍为 6。

  • 消息 M6 依然对消费者不可见,因为 F2 还没复制。

步骤5:F2 完成同步

  • F2 成功写入消息 M6,LEO_F2 变为 7。

步骤6:Leader 再次更新 HW

  • HW = min(LEO_L=7, LEO_F1=7, LEO_F2=7) = 7

  • HW 更新为 7。

  • 消息 M6(偏移量 6)现在对消费者可见了。

步骤7:消费者消费

  • 消费者可以消费到偏移量 6 的消息了。

  • 如果有新的消费者从最新位置开始消费,它将从偏移量 7(即 HW)开始消费,也就是等待下一条消息。

相关推荐
goehou4 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯6 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence9 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626121 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛2 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人2 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人3 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch