Kafka Consumer Group

Kafka 消费者组（Consumer Group） 是 Kafka 的核心机制之一！理解它对你掌握 Kafka 的高可用、高吞吐、负载均衡等能力非常关键。下面我来给你完整讲一讲👇

🧠 什么是 Kafka 消费者组（Consumer Group）？

消费者组 是一组协同工作的消费者（Consumer 实例），它们共同消费一个或多个 Topic 的数据 ，并且每条消息只被组内一个消费者处理一次。

🧩 一张图理解：

复制代码

📦 Kafka Topic（3 分区）
    ├── Partition 0
    ├── Partition 1
    └── Partition 2

👥 Consumer Group A
    ├── Consumer A1 → 读 Partition 0
    ├── Consumer A2 → 读 Partition 1
    └── Consumer A3 → 读 Partition 2

✅ 每个分区只会被 组内一个消费者处理 ，不重复，不遗漏

🔄 为什么要用消费者组？

能力	说明
✅ 负载均衡	多个消费者可以并行消费同一个 Topic，不抢活干
✅ 高吞吐	结合 Topic 分区机制，实现并发消费
✅ 容错性高	某个消费者宕机，Kafka 自动将它的分区分配给组内其他消费者（重平衡）
✅ 消息语义明确	每条消息只会被一个消费者消费一次（组内）

🧪 多组消费同一个 Topic 会怎样？

Kafka 支持 多个 Consumer Group 并行独立消费 同一个 Topic。

举个例子：

复制代码

👥 Group A - 用于实时订单系统
👥 Group B - 用于日志分析系统

两组消费同一个 topic（orders），互不干扰

每组维护自己的一份 offset ，相互独立，不冲突

⚙️ 消费者组的工作机制

Group ID ：每个消费者组有一个唯一的 ID（比如 group.order-service）
Kafka Broker 维护 offset：Kafka 会记录每个 group 在每个分区的 offset（进度）
Rebalance：当组内消费者数量变化（上线/宕机）时，Kafka 会重新分配分区给消费者
协调器（Coordinator）机制：Kafka Broker 充当协调者，帮助组内消费者完成协商和分区分配

🧠 实际应用举例：

场景	Group 名称	作用
实时下单服务	`order-consumer-group`	处理用户下单的事件
日志系统	`log-sync-group`	异步记录日志
数据仓库同步	`etl-consumer-group`	批量同步到 Hive/ClickHouse
报警系统	`alert-group`	只关心异常消息，消费独立分组

⚠️ 注意事项

问题	说明
❗ 分区数 < 消费者数	有的消费者会空跑（分区只能绑定一个）
❗ 同组多个消费者不能同时消费同一分区	一个分区同一时刻只给一个组内消费者
❗ 不同组之间的 offset 互不影响	所以多个组可以独立消费同一份数据
❗ rebalance 会中断消费	避免频繁上下线消费者，否则影响吞吐和延迟

✅ 总结一句话：

Kafka 消费者组 = 协作消费机制 ，通过组内分工协作实现高并发、高可用、不重复 的消费，

是 Kafka 实现弹性消费、横向扩展、任务容错的关键组件。