消息队列-Kafka-消费方如何分区与分区重平衡

消费分区

资料来源于网络

消费者订阅的入口:KafkaConsumer#subscribe

消费者消费的入口:KafkaConsumer#poll
处理流程:

对元数据重平衡处理:KafkaConsumer#updateAssignmentMetadataIfNeeded

协调器的拉取处理:onsumerCoordinator#poll

执行已完成的【消费进度】提交请求的回调函数:invokeCompletedOffsetCommitCallbacks()重平衡之前提交自己当前消费的信息:

更新发送心跳相关的时间:pollHeartbeat

确保消费者组活跃:AbstractCoordinator#ensureActiveGroup

是否需要加入组:joinGroupIfNeeded(timer);

发送入组请求:initiateJoinGroup、AbstractCoordinator#sendJoinGroupRequest

处理入组响应:JoinGroupResponseHandler

入组成功,自己被选为分配分区的 leader:AbstractCoordinator#onJoinComplete

重新分配分区:AbstractPartitionAssignor#performAssignment,AbstractPartitionAssignor.assign

拉取消息:

拉取消息:org.apache.kafka.clients.consumer.KafkaConsumer#pollForFetches

本地拉取:fetcher.collectFetch()

远程拉取:sendFetches();、client.poll

拦截返回:interceptors.onConsume

重平衡

作用是让组内所有的消费者知道自己应该消费那个分区或者它可以不用消费分区,或者消费多个分区,都是由重平衡机制来保证的。

也就是相当于是消费者的管家,给他派发消费那个分区的任务。

这下面这些时刻会触发:

  • 组员变化:加入,退出,闪退
  • 主题数量变化
  • 主题分区数变化

要想实现消费者的重平衡势必要和broker进行通信,在Kafka中是通过心跳机制来实现的,平衡的步骤:

  • JoinGroup
    在发送请求的时候:

请求当broker 告诉broker我要消费那个主题,并且协调器会收到以后会放入队列。

当所以的消费者都发送JoinGroup以后,这个时候所有信息已经收集到协调者,然后协调者来选一个leader。

协调者的响应:

协调者会选一个leader一般是先发起JoinGroup的消费者,这个时候协调器会告诉这个消费者去进行分区方案的生成。

  • SyncGroup
    在发送请求的是时候有下面这两种情况:
    1 如果是leader 将分配好的方案给到协调器。
    2 如果是非leader 只是要就协调者告诉自己应该消费那些分区。
    协调者响应:
    告诉消费者消费那些分区
    图片源于网络
相关推荐
骇客野人1 天前
SpringBoot 接入 Kafka 完整实操步骤
spring boot·kafka·linq
Sayai1 天前
Kafka 集群开启 SASL 认证实战(二):外置 ZooKeeper 之 kafka 与 zk 间认证
分布式·zookeeper·kafka
Sayai1 天前
Kafka 集群开启 SASL 认证实战(一):内置 ZooKeeper 场景,JAAS 配置全流程
分布式·zookeeper·kafka
Sayai1 天前
Kafka 集群开启 SASL 认证实战(三):外置 ZooKeeper 完整版,quorum 认证 + ACL 访问控制
zookeeper·kafka·linq
海兰1 天前
【Kafka进阶6】顺序消费深度解析
分布式·kafka·linq
2601_960906721 天前
Anthropic把Claude Code 2.1.236及以上版本的Fable 5会话
人工智能·kafka·时序数据库·etcd·tdengine
xiamo@moment2 天前
kafka学习笔记-概念总集
运维·kafka
あ-3 天前
kafka broker迁移
kafka
海兰3 天前
【 Kafka进阶5】使用 Docker 部署 Apache Kafka 集群完全指南
docker·kafka·apache
海兰4 天前
【Kafka进阶4】KRaft 完全指南:Apache Kafka 摆脱 ZooKeeper 的架构
zookeeper·kafka·apache