Kafka3.0.0版本——消费者(消费者组初始化流程图解)

一、消费者组初始化流程图解

  1. 每个consumer都发送JoinGroup请求,如下图所示:

  2. 选出一个consumer作为leader,如下图所示:

  3. 把要消费的topic情况发送给leader 消费者,如下图所示:

  4. leader会负责制定消费方案,并把消费方案发给coordinator,如下图所示:

  5. Coordinator就把消费方案下发给各个consumer,如下图所示:

  6. 每个消费者都会和coordinator保持心跳(默认3s),一旦超时(session.timeout.ms=45s),该消费者会被移除,并触发再平衡;或者消费者处理消息的时间过长(max.poll.interval.ms5分钟),也会触发再平衡,如下图所示:

相关推荐
susu10830189116 小时前
docker启动kafka
docker·容器·kafka
麦兜*11 小时前
深入解析云原生时代的高性能消息中间件:基于Apache Pulsar与Kafka架构对比的万亿级数据吞吐与低延迟实时处理实战
云原生·kafka·apache
DolphinScheduler社区12 小时前
Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?
linux·flink·kafka·开源·apache·海豚调度·大数据工作流调度
编程彩机1 天前
互联网大厂Java面试:从Spring Security到微服务架构场景解析
kafka·spring security·微服务架构·jwt·java面试·分布式追踪
麦兜和小可的舅舅1 天前
ClickHouse Drop Table On Cluster 故障分析和原理解析
clickhouse·kafka
小程故事多_801 天前
深度解析Kafka重平衡,触发机制、执行流程与副本的核心关联
分布式·kafka
【赫兹威客】浩哥1 天前
【赫兹威客】伪分布式Kafka测试教程
分布式·kafka
Jackyzhe1 天前
从零学习Kafka:集群架构和基本概念
学习·架构·kafka
indexsunny2 天前
互联网大厂Java面试实战:Spring Boot微服务在电商场景中的应用
java·数据库·spring boot·redis·微服务·kafka·电商
yumgpkpm2 天前
在AI语言大模型时代 Cloudera CDP(华为CMP 鲲鹏版)对自有知识的保护
人工智能·hadoop·华为·zookeeper·spark·kafka