消息队列-Kafka-消费方如何分区与分区重平衡

消费分区

资料来源于网络

消费者订阅的入口:KafkaConsumer#subscribe

消费者消费的入口:KafkaConsumer#poll
处理流程:

对元数据重平衡处理:KafkaConsumer#updateAssignmentMetadataIfNeeded

协调器的拉取处理:onsumerCoordinator#poll

执行已完成的【消费进度】提交请求的回调函数:invokeCompletedOffsetCommitCallbacks()重平衡之前提交自己当前消费的信息:

更新发送心跳相关的时间:pollHeartbeat

确保消费者组活跃:AbstractCoordinator#ensureActiveGroup

是否需要加入组:joinGroupIfNeeded(timer);

发送入组请求:initiateJoinGroup、AbstractCoordinator#sendJoinGroupRequest

处理入组响应:JoinGroupResponseHandler

入组成功,自己被选为分配分区的 leader:AbstractCoordinator#onJoinComplete

重新分配分区:AbstractPartitionAssignor#performAssignment,AbstractPartitionAssignor.assign

拉取消息:

拉取消息:org.apache.kafka.clients.consumer.KafkaConsumer#pollForFetches

本地拉取:fetcher.collectFetch()

远程拉取:sendFetches();、client.poll

拦截返回:interceptors.onConsume

重平衡

作用是让组内所有的消费者知道自己应该消费那个分区或者它可以不用消费分区,或者消费多个分区,都是由重平衡机制来保证的。

也就是相当于是消费者的管家,给他派发消费那个分区的任务。

这下面这些时刻会触发:

  • 组员变化:加入,退出,闪退
  • 主题数量变化
  • 主题分区数变化

要想实现消费者的重平衡势必要和broker进行通信,在Kafka中是通过心跳机制来实现的,平衡的步骤:

  • JoinGroup
    在发送请求的时候:

请求当broker 告诉broker我要消费那个主题,并且协调器会收到以后会放入队列。

当所以的消费者都发送JoinGroup以后,这个时候所有信息已经收集到协调者,然后协调者来选一个leader。

协调者的响应:

协调者会选一个leader一般是先发起JoinGroup的消费者,这个时候协调器会告诉这个消费者去进行分区方案的生成。

  • SyncGroup
    在发送请求的是时候有下面这两种情况:
    1 如果是leader 将分配好的方案给到协调器。
    2 如果是非leader 只是要就协调者告诉自己应该消费那些分区。
    协调者响应:
    告诉消费者消费那些分区
    图片源于网络
相关推荐
一元钱面包41 分钟前
kafka课后总结
kafka
云攀登者-望正茂9 小时前
Kafka 架构设计和组件介绍
分布式·kafka
露卡_9 小时前
Kafka和其他组件的整合
分布式·kafka·linq
goTsHgo9 小时前
Kafka 保证多分区的全局顺序性的设计方案和具体实现
分布式·kafka
欧先生^_^10 小时前
学习 Apache Kafka
学习·kafka·apache
不要天天开心13 小时前
Kafka与Spark-Streaming:大数据处理的黄金搭档
kafka·scala
煤烦恼19 小时前
kafka整合flume与DStream转换
分布式·kafka
快乐点吧19 小时前
启动命令汇总(Redis / Kafka / Flume / Spark)
redis·kafka·flume
南客先生1 天前
互联网大厂Java面试:RocketMQ、RabbitMQ与Kafka的深度解析
java·面试·kafka·rabbitmq·rocketmq·消息中间件
知其_所以然1 天前
如何使用@KafkaListener实现从nacos中动态获取监听的topic
kafka