消息队列-Kafka-消费方如何分区与分区重平衡

消费分区

资料来源于网络

消费者订阅的入口:KafkaConsumer#subscribe

消费者消费的入口:KafkaConsumer#poll
处理流程:

对元数据重平衡处理:KafkaConsumer#updateAssignmentMetadataIfNeeded

协调器的拉取处理:onsumerCoordinator#poll

执行已完成的【消费进度】提交请求的回调函数:invokeCompletedOffsetCommitCallbacks()重平衡之前提交自己当前消费的信息:

更新发送心跳相关的时间:pollHeartbeat

确保消费者组活跃:AbstractCoordinator#ensureActiveGroup

是否需要加入组:joinGroupIfNeeded(timer);

发送入组请求:initiateJoinGroup、AbstractCoordinator#sendJoinGroupRequest

处理入组响应:JoinGroupResponseHandler

入组成功,自己被选为分配分区的 leader:AbstractCoordinator#onJoinComplete

重新分配分区:AbstractPartitionAssignor#performAssignment,AbstractPartitionAssignor.assign

拉取消息:

拉取消息:org.apache.kafka.clients.consumer.KafkaConsumer#pollForFetches

本地拉取:fetcher.collectFetch()

远程拉取:sendFetches();、client.poll

拦截返回:interceptors.onConsume

重平衡

作用是让组内所有的消费者知道自己应该消费那个分区或者它可以不用消费分区,或者消费多个分区,都是由重平衡机制来保证的。

也就是相当于是消费者的管家,给他派发消费那个分区的任务。

这下面这些时刻会触发:

  • 组员变化:加入,退出,闪退
  • 主题数量变化
  • 主题分区数变化

要想实现消费者的重平衡势必要和broker进行通信,在Kafka中是通过心跳机制来实现的,平衡的步骤:

  • JoinGroup
    在发送请求的时候:

请求当broker 告诉broker我要消费那个主题,并且协调器会收到以后会放入队列。

当所以的消费者都发送JoinGroup以后,这个时候所有信息已经收集到协调者,然后协调者来选一个leader。

协调者的响应:

协调者会选一个leader一般是先发起JoinGroup的消费者,这个时候协调器会告诉这个消费者去进行分区方案的生成。

  • SyncGroup
    在发送请求的是时候有下面这两种情况:
    1 如果是leader 将分配好的方案给到协调器。
    2 如果是非leader 只是要就协调者告诉自己应该消费那些分区。
    协调者响应:
    告诉消费者消费那些分区
    图片源于网络
相关推荐
猿java11 小时前
使用 Kafka面临的挑战
java·后端·kafka
路上^_^11 小时前
00_概览_kafka
分布式·kafka
CopyLower19 小时前
Kafka 消费者状态及高水位(High Watermark)详解
分布式·kafka
信徒_21 小时前
kafka
分布式·kafka
灰色孤星A1 天前
Kafka学习笔记(三)Kafka分区和副本机制、自定义分区、消费者指定分区
zookeeper·kafka·kafka分区机制·kafka副本机制·kafka自定义分区
雪球不会消失了1 天前
Kafka快速入门
分布式·kafka
death bell2 天前
kafka基本概念以及用法
分布式·kafka·linq
空名_Noname2 天前
【转载翻译】消息队列 - ActiveMQ、RabbitMQ、Kafka、ZeroMQ
c++·kafka·rabbitmq·activemq·zeromq
漫无目的行走的月亮3 天前
使用微服务Spring Cloud集成Kafka实现异步通信(消费者)
spring cloud·微服务·kafka
静听山水3 天前
kafka测试
分布式·kafka