Kafka3.0.0版本——消费者(消费者组初始化流程图解)

一、消费者组初始化流程图解

  1. 每个consumer都发送JoinGroup请求,如下图所示:

  2. 选出一个consumer作为leader,如下图所示:

  3. 把要消费的topic情况发送给leader 消费者,如下图所示:

  4. leader会负责制定消费方案,并把消费方案发给coordinator,如下图所示:

  5. Coordinator就把消费方案下发给各个consumer,如下图所示:

  6. 每个消费者都会和coordinator保持心跳(默认3s),一旦超时(session.timeout.ms=45s),该消费者会被移除,并触发再平衡;或者消费者处理消息的时间过长(max.poll.interval.ms5分钟),也会触发再平衡,如下图所示:

相关推荐
milanyangbo3 小时前
从硬盘I/O到网络传输:Kafka与RocketMQ读写模型及零拷贝技术深度对比
java·网络·分布式·架构·kafka·rocketmq
GEM的左耳返3 小时前
Java面试实战:从Spring Boot到AI集成的技术深度挑战
spring boot·redis·微服务·kafka·java面试·spring ai·缓存优化
写bug的小屁孩4 小时前
主流消息队列(MQ)和技术选型
kafka·java-rocketmq·java-rabbitmq
java1234_小锋5 小时前
Kafka与RabbitMQ相比有什么优势?
分布式·kafka·rabbitmq
yumgpkpm5 小时前
腾讯TBDS和CMP(Cloud Data AI Platform,类Cloudera CDP,如华为鲲鹏 ARM 版)比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·oracle·kafka·hbase
码农很忙6 小时前
如何选择合适的 Diskless Kafka
分布式·kafka
北京聚信万通科技有限公司6 小时前
易连EDI-EasyLink无缝集成之消息队列Kafka
kafka·edi·国产自研·easylink
java1234_小锋7 小时前
Kafka中的消费者偏移量是如何管理的?
分布式·kafka
笨蛋少年派7 小时前
Kafka分布式流处理平台简介
分布式·kafka
路边草随风7 小时前
flink 1.18 cdc 2.4.2 读 mysql binlog 写 kafka jar版本依赖
mysql·flink·kafka