消息队列-Kafka-消费方如何分区与分区重平衡

消费分区

资料来源于网络

消费者订阅的入口:KafkaConsumer#subscribe

消费者消费的入口:KafkaConsumer#poll
处理流程:

对元数据重平衡处理:KafkaConsumer#updateAssignmentMetadataIfNeeded

协调器的拉取处理:onsumerCoordinator#poll

执行已完成的【消费进度】提交请求的回调函数:invokeCompletedOffsetCommitCallbacks()重平衡之前提交自己当前消费的信息:

更新发送心跳相关的时间:pollHeartbeat

确保消费者组活跃:AbstractCoordinator#ensureActiveGroup

是否需要加入组:joinGroupIfNeeded(timer);

发送入组请求:initiateJoinGroup、AbstractCoordinator#sendJoinGroupRequest

处理入组响应:JoinGroupResponseHandler

入组成功,自己被选为分配分区的 leader:AbstractCoordinator#onJoinComplete

重新分配分区:AbstractPartitionAssignor#performAssignment,AbstractPartitionAssignor.assign

拉取消息:

拉取消息:org.apache.kafka.clients.consumer.KafkaConsumer#pollForFetches

本地拉取:fetcher.collectFetch()

远程拉取:sendFetches();、client.poll

拦截返回:interceptors.onConsume

重平衡

作用是让组内所有的消费者知道自己应该消费那个分区或者它可以不用消费分区,或者消费多个分区,都是由重平衡机制来保证的。

也就是相当于是消费者的管家,给他派发消费那个分区的任务。

这下面这些时刻会触发:

  • 组员变化:加入,退出,闪退
  • 主题数量变化
  • 主题分区数变化

要想实现消费者的重平衡势必要和broker进行通信,在Kafka中是通过心跳机制来实现的,平衡的步骤:

  • JoinGroup
    在发送请求的时候:

请求当broker 告诉broker我要消费那个主题,并且协调器会收到以后会放入队列。

当所以的消费者都发送JoinGroup以后,这个时候所有信息已经收集到协调者,然后协调者来选一个leader。

协调者的响应:

协调者会选一个leader一般是先发起JoinGroup的消费者,这个时候协调器会告诉这个消费者去进行分区方案的生成。

  • SyncGroup
    在发送请求的是时候有下面这两种情况:
    1 如果是leader 将分配好的方案给到协调器。
    2 如果是非leader 只是要就协调者告诉自己应该消费那些分区。
    协调者响应:
    告诉消费者消费那些分区
    图片源于网络
相关推荐
张伯毅7 小时前
Flink SQL 将kafka topic的数据写到另外一个topic里面
sql·flink·kafka
Will_113012 小时前
kafka调优
分布式·kafka
0吉光片羽021 小时前
【SpringBoot】集成kafka之生产者、消费者、幂等性处理和消息积压
spring boot·kafka·linq
找不到、了1 天前
MQ消息队列的深入研究
kafka·java-rocketmq·java-rabbitmq·java-activemq
菜菜菜小狗1 天前
kafka----初步安装与配置
kafka
predisw1 天前
Kafka如何实现高性能
分布式·kafka
£菜鸟也有梦1 天前
Kafka进阶指南:从原理到实战
大数据·kafka
火龙谷2 天前
【hadoop】Kafka 安装部署
大数据·hadoop·kafka
日月星宿~2 天前
【kafka】基本命令
kafka
fjkxyl2 天前
Kafka消息路由分区机制深度解析:架构设计与实现原理
分布式·kafka