Kafka3.0.0版本——消费者(消费者组初始化流程图解)

一、消费者组初始化流程图解

  1. 每个consumer都发送JoinGroup请求,如下图所示:

  2. 选出一个consumer作为leader,如下图所示:

  3. 把要消费的topic情况发送给leader 消费者,如下图所示:

  4. leader会负责制定消费方案,并把消费方案发给coordinator,如下图所示:

  5. Coordinator就把消费方案下发给各个consumer,如下图所示:

  6. 每个消费者都会和coordinator保持心跳(默认3s),一旦超时(session.timeout.ms=45s),该消费者会被移除,并触发再平衡;或者消费者处理消息的时间过长(max.poll.interval.ms5分钟),也会触发再平衡,如下图所示:

相关推荐
知识搬运临时工14 小时前
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%
后端·kafka
一条泥憨鱼2 天前
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路
java·后端·kafka·消息队列·rabbitmq
斯普信专业组2 天前
Kafka 消费者 poll() 流程与原理详解
kafka·流程图
ly76892 天前
幂等消费者与重试副作用:Kafka 端点接入时的去重边界
分布式·kafka·linq·apache camel·幂等消费者·重试副作用·去重边界
9624563 天前
容器 RUNNING,为什么中间件仍不可用?ActiveMQ 与 Kafka/ZooKeeper 恢复实录
中间件·kafka·activemq
斯普信专业组3 天前
Kafka 3.9.1 三节点集群部署方案(ZooKeeper 模式)
分布式·zookeeper·kafka
皮皮林5513 天前
Kafka 怎么保证消费只消费一次的?
kafka
茶海棠4 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
后台模板学习4 天前
Kafka 与 RabbitMQ 在用户认证与权限管理场景
kafka·rabbitmq·linq