Kafka的高水位、低水位是什么概念?

Kafka 的 高水位(High Watermark, HW)低水位(Low Watermark, LW) 是和数据存储、消费进度、日志清理等密切相关的重要概念。我们用一个 "蓄水池" 的比喻来形象地解释它们的作用。


1. Kafka 里的数据像一个蓄水池

Kafka 的数据存储在 日志(log segment) 里,每个分区(partition)就像一个不断增长的日志文件,数据会随着生产者(producer)的发送不断增加,消费者(consumer)从中读取数据。你可以把它想象成一个 不断注水的蓄水池


2. 高水位(HW):消费安全线

高水位(HW) 就像是蓄水池里的 "最低可见水位" ,只有水面之下的水(数据)才是消费者能喝(消费)到的

  • Kafka 是分布式的,每个分区的消息可能被多个副本(replica)存储在不同的机器上。
  • 只有当 所有 ISR(In-Sync Replicas,即同步副本)都确认收到了某个消息,这个消息才被认为是"稳定的"并可以被消费者消费。
  • 高水位(HW)指的就是最早的 ISR 共同确认的那条消息的偏移量(offset),消费者只能消费到这个位置的数据,再往后的数据还不能保证稳定,不能消费。

类比:

  • 你可以想象蓄水池里有一根透明的管子,管子以下的水可以喝(已经被多个副本确认)。
  • 但管子上面的水(新写入但未完全确认的消息)还在"沉淀"过程中,可能会被回滚(删除)。

作用:

  • 保证数据一致性,确保所有消费者只能消费已经被多个副本确认的数据,避免数据丢失。

3. 低水位(LW):清理水池底部的陈旧数据

低水位(LW) 就是 "蓄水池的排水口" ,用来删除过旧的数据,防止池子被塞满

Kafka 会根据 日志清理策略(Log Retention Policy) 来删除旧数据,比如:

  • 按时间删除(log.retention.hours):只保留最近 X 小时的数据。
  • 按大小删除(log.retention.bytes):当日志文件超过一定大小后,删除最早的数据。

低水位(LW)指的就是最早还能被 Kafka 保留的偏移量(offset),更早的数据都会被清理掉,防止日志无限增长。

类比:

  • 如果池子太满,底部的水就要排走,以腾出空间给新的水(数据)。
  • 低水位(LW)以下的数据(offset)会被 Kafka 自动清理,消费者也无法再读取这些数据。

作用:

  • 避免日志文件无限增长,节省存储空间
  • 提高 Kafka 性能,防止查询过大数据时变慢。

4. 高水位和低水位的关系

  • 高水位(HW)不断上升,确保数据可以安全消费
  • 低水位(LW)也在上升,确保老数据及时清理
  • 高水位 - 低水位之间的数据就是 Kafka 当前可消费的数据,消费者只能消费这个范围的数据。

5. 总结

概念 作用 类比
高水位(HW) 保障消费者只能消费到安全的数据 透明管子以下的水,可安全饮用
低水位(LW) 触发日志清理,避免存储爆炸 水池排水口,定期排掉老水

6. 延伸思考

  • 如果 ISR 副本少了(比如机器故障),高水位就不会提升,导致消费者无法消费新数据。
  • 如果低水位设得太低,可能会让消费者还没消费就被删数据,导致数据丢失。
  • Kafka 通过合理调整 log.retention.* 和副本同步策略,来平衡存储和消费的可靠性。

这样理解的话,Kafka 高低水位的原理是不是就清晰很多了?

相关推荐
超低空2 小时前
Android MediaSession深度解析:车载音乐播放器完整案例
android·架构·客户端
liulilittle3 小时前
LwIP协议栈MPA多进程架构
服务器·开发语言·网络·c++·架构·lwip·通信
幼儿园老大*4 小时前
什么是分布式数据库?有什么优势?
数据库·分布式
特立独行的猫a4 小时前
ESP32使用笔记(基于ESP-IDF):小智AI的ESP32项目架构与启动流程全面解析
人工智能·架构·esp32·小智ai
运维行者_5 小时前
DDI 与 OpManager 集成对企业 IT 架构的全维度优化
运维·网络·数据库·华为·架构·1024程序员节·snmp监控
武子康5 小时前
大数据-135 ClickHouse 集群连通性自检 + 数据类型避坑实战|10 分钟跑通 ON CLUSTER
大数据·分布式·后端
报错小能手6 小时前
项目——基于C/S架构的预约系统平台(3)
linux·开发语言·笔记·学习·架构·1024程序员节
cxr8286 小时前
涌现的架构:集体智能框架构建解析
人工智能·语言模型·架构·1024程序员节·ai智能体·ai赋能
byte轻骑兵8 小时前
医疗信创标杆实践:浙人医 LIS 系统异构多活容灾架构深度解析(附 KingbaseES 实战)
网络·架构·1024程序员节