Kafka Console Client 的 Consumer Group

以往使用 kafka-console-consumer.sh 消费 Kafka 消息时并没有太在意过 Consumer Group,在命令行中也不会使用 --group 参数,本文针对 Kafka Console Client 命令行中的 Consumer Group 进行一次统一说明。

1. 如不设置 --group 参数会自动生成一个 Consumer Group ID

通常我们在使用 kafka-console-consumer.sh 的时候是不会设置 --group 参数的,从使用体验上也看不出有什么差异,原因在于 Kafka Console Client 会自动为当前这次请求自动创建一个 GroupID,一般会命名为 console-consumer-xxxx,每执行一次 kafka-console-consumer.sh 就生成一个新的 GroupID,以下是测试过程:

从上面的测试可以看出:每执行一次 kafka-console-consumer.sh 都会自动创建一个新的 Consumer Group,命令行启动的 Consumer 就在这个 Group 中,且也只有这一个 Consumer。

2. 设置 --group 参数,多个 kafka-console-consumer.sh 加入同一 Consumer Group

我们的测试用 topic 有3个 Partition, 我们打开三个 Console,分别执行一遍:

bash 复制代码
kafka-console-consumer.sh --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS --topic 'osci.mysql-server-3.inventory.orders' --group 'app-1'

然后向 Kafka 中插入三条数据(avro 格式,二进制数据),得到如下输出:

可以看到:三个 kafka-console-consumer.sh 在同一个 Group 下工作,各自对接一个 Partition,所以写入的三条消息是在三个 Console 中输出出来的。这就是 Consumer Group 的标准行为。

相关推荐
编程彩机13 小时前
互联网大厂Java面试:从Spring Security到微服务架构场景解析
kafka·spring security·微服务架构·jwt·java面试·分布式追踪
麦兜和小可的舅舅18 小时前
ClickHouse Drop Table On Cluster 故障分析和原理解析
clickhouse·kafka
小程故事多_8021 小时前
深度解析Kafka重平衡,触发机制、执行流程与副本的核心关联
分布式·kafka
【赫兹威客】浩哥1 天前
【赫兹威客】伪分布式Kafka测试教程
分布式·kafka
Jackyzhe1 天前
从零学习Kafka:集群架构和基本概念
学习·架构·kafka
indexsunny1 天前
互联网大厂Java面试实战:Spring Boot微服务在电商场景中的应用
java·数据库·spring boot·redis·微服务·kafka·电商
yumgpkpm1 天前
在AI语言大模型时代 Cloudera CDP(华为CMP 鲲鹏版)对自有知识的保护
人工智能·hadoop·华为·zookeeper·spark·kafka
Linux蓝魔1 天前
mysql-redis-kafka-es-ngnix安装调试
linux·服务器·mysql·kafka·es
没有bug.的程序员1 天前
Spring Cloud Stream:消息驱动微服务的实战与 Kafka 集成终极指南
java·微服务·架构·kafka·stream·springcloud·消息驱动
编程彩机1 天前
互联网大厂Java面试:从微服务到分布式事务的技术场景解析
spring cloud·微服务·kafka·分布式事务·java面试