Kafka-服务端-GroupCoordinator

在每一个Broker上都会实例化一个GroupCoordinator对象,Kafka按照Consumer Group的名称将其分配给对应的GroupCoordinator进行管理;

每个GroupCoordinator只负责管理Consumer Group的一个子集,而非集群中全部的Consumer Group。

请注意与KafkaController以及副本机制中的主从模式的区别。

GroupCoordinator有几项比较重要的功能:

一是负责处理JoinGroupRequest和SyncGroupRequest完成Consumer Group中分区的分配工作;

二是通过GroupMetadataManager和内部Topic"Offsets Topic"维护offset信息,即使出现消费者宕机也可以找回之前提交的offset;

三是记录Consumer Group的相关信息,即使Broker宕机导致Consumer Group由新的GroupCoordinator进行管理,新GroupCoordinator也可以知道Consumer Group中每个消费者负责处理哪个分区等信息;

四是通过心跳消息检测消费者的状态。

GroupCoordinator中使用MemberMetadata记录消费者的元数据,MemberMetadata中各字段的含义和功能如下所述。

  • memberld:对应消费者的id,此值是由服务端的GroupCoordinator分配的。
  • groupld:记录消费者所在的Consumer Group的id。
  • assignment:Array[Byte]类型,记录了分配给当前Member的分区信息。
  • supportedProtocols:对应消费者支持的PartitionAssignor。
  • awaitingJoinCallback:与JoinGroupRequest相关的回调函数,后面详述。
  • awaitingSyncCallback:与SyncGroupRequest相关的回调函数,后面详述。
  • sessionTimeoutMs:心跳超时时间。
  • latestHeartbeat:最后一次收到心跳消息的时间戳。
  • isLeaving:标识对应消费者是否已经离开了Consumer Group。

MemberMetadata.vote方法提供了从给定候选PartitionAssignor中选择消费者支持的PartitionAssignor的功能。

GroupMetadata记录了Consumer Group的元数据信息,其字段的含义如下所述。

  • groupld:对应Consumer Group的id。
  • members:HashMap[String,MemberMetadata]类型,key是memberld,value是对应的MemberMetadata对象。
  • state:GroupState类型,标识当前Consumer Group所处的状态。
  • generationld:标识当前Consumer Group的年代信息,避免受到过期请求的影响。
  • leaderld:记录Consumer Group中的Leader消费者的memberld。
  • protocol:记录了当前Consumer Group选择的ParitionAssignor。
    在GroupMetadata中提供了对上述字段的操作,例如对members集合的增删、对state的切换。GroupMetadata在进行Member的增删操作时,还会顺便选择Group Leader:
相关推荐
gQ85v10Db6 小时前
Redis分布式锁进阶第十七篇:微服务分布式锁全局治理 + 跨团队统一规范落地 + 全链路稳定性提升方案
redis·分布式·微服务
gQ85v10Db12 小时前
Redis分布式锁进阶第十八篇:本地缓存+分布式锁双锁架构 + 高并发削峰兜底 + 极致性能无损优化实战
redis·分布式·缓存
小江的记录本13 小时前
【Kafka核心】Kafka高性能的四大核心支柱:零拷贝、批量发送、页缓存、压缩
java·数据库·分布式·后端·缓存·kafka·rabbitmq
gQ85v10Db13 小时前
Redis分布式锁进阶第十四篇:全系列终局架构复盘 + 锁体系统一规范 + 线上全年零事故收官方案
redis·分布式·架构
KmSH8umpK13 小时前
Redis分布式锁进阶第十二篇
数据库·redis·分布式
gQ85v10Db13 小时前
Redis分布式锁进阶第十六篇:番外高阶避坑篇 + 隐性埋点锁故障深挖 + 疑难杂症终极兜底方案
数据库·redis·分布式
KmSH8umpK14 小时前
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第九篇
数据库·redis·分布式
gQ85v10Db14 小时前
Redis分布式锁进阶第十五篇:全系列终极收官复盘 + 全站锁规范归档 + 生产零故障长期运维兜底总方案
运维·redis·分布式
_F_y15 小时前
仿RabbitMQ实现消息队列-服务端核心模块实现(5)
分布式·rabbitmq
Lyyaoo.15 小时前
Redis实现分布式锁
数据库·redis·分布式