Kafka Console Client 的 Consumer Group

以往使用 kafka-console-consumer.sh 消费 Kafka 消息时并没有太在意过 Consumer Group,在命令行中也不会使用 --group 参数,本文针对 Kafka Console Client 命令行中的 Consumer Group 进行一次统一说明。

1. 如不设置 --group 参数会自动生成一个 Consumer Group ID

通常我们在使用 kafka-console-consumer.sh 的时候是不会设置 --group 参数的,从使用体验上也看不出有什么差异,原因在于 Kafka Console Client 会自动为当前这次请求自动创建一个 GroupID,一般会命名为 console-consumer-xxxx,每执行一次 kafka-console-consumer.sh 就生成一个新的 GroupID,以下是测试过程:

从上面的测试可以看出:每执行一次 kafka-console-consumer.sh 都会自动创建一个新的 Consumer Group,命令行启动的 Consumer 就在这个 Group 中,且也只有这一个 Consumer。

2. 设置 --group 参数,多个 kafka-console-consumer.sh 加入同一 Consumer Group

我们的测试用 topic 有3个 Partition, 我们打开三个 Console,分别执行一遍:

bash 复制代码
kafka-console-consumer.sh --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS --topic 'osci.mysql-server-3.inventory.orders' --group 'app-1'

然后向 Kafka 中插入三条数据(avro 格式,二进制数据),得到如下输出:

可以看到:三个 kafka-console-consumer.sh 在同一个 Group 下工作,各自对接一个 Partition,所以写入的三条消息是在三个 Console 中输出出来的。这就是 Consumer Group 的标准行为。

相关推荐
博一波10 小时前
【车联网kafka】Kafka核心架构与实战经验(第三篇)
分布式·架构·kafka
Lemon程序馆1 天前
Kafka | 集群部署和项目接入
后端·kafka
老四敲代码2 天前
Kafka 生产者与消费者分区策略全解析:从原理到实践
分布式·kafka
会飞的架狗师2 天前
【Kafka系列】第二篇| Kafka 的核心概念、架构设计、底层原理
分布式·kafka
ClouGence2 天前
构建秒级响应的实时数据架构
数据库·kafka
武子康2 天前
大数据-64 Kafka 深入理解 Kafka 分区与重分配机制:高并发与高可用的核心 实机测试
大数据·后端·kafka
巴里巴气3 天前
kafka架构原理快速入门
分布式·kafka
Kookoos3 天前
ABP VNext + Apache Kafka Exactly-Once 语义:金融级消息一致性实战
金融·kafka·apache·abp vnext·outbox pattern
lifallen3 天前
Kafka ISR机制和Raft区别:副本数优化的秘密
java·大数据·数据库·分布式·算法·kafka·apache
雪球不会消失了3 天前
Kafka学习记录
分布式·学习·kafka