Kafka-服务端-GroupMetadataManager

GroupMetadataManager是GroupCoordinator中负责管理Consumer Group元数据以及其对应offset信息的组件。

GroupMetadataManager底层使用Offsets Topic,以消息的形式存储Consumer Group的GroupMetadata信息以及其消费的每个分区的offset,如图所示。

consumer_offsets的某Partition记录某consumerGroup的GroupMotadata消息记录某ConsumerGroup对Partition的offset消息记录某ConsumerGroup对Partition1的offset消费记录某ConsumerGroup的Partition2的offset消费。

为了提高查询的效率,GroupMetadataManager同时还会将Consumer Group的GroupMetadata信息和offset信息在内存中维护一份相同的副本,并进行同步修改。

GroupMetadataManager依赖的组件如图所示。

GroupMetadataManager中各个字段的含义和功能如下所述。

  • offsetsCache:Pool[GroupTopicPartition,OffsetAndMetadata]类型,记录了每个Consumer Group消费的分区的offset位置。

  • groupsCache:Pool[String,GroupMetadata]类型,记录每个Consumer Group在服务端对应的GroupMetadata对象。

  • loadingPartitions Set[Int]类型,记录了正在加载的Offsets Topic分区的id,后续详述。

  • ownedPartitions:Set[Int]类型,记录了已经加载的Offsets Topic分区的id,后续详述。

  • groupMetadataTopicPartitionCount:记录Offsets Topic的分区数量。该字段会调用getOffsetsTopicPartitionCount方法进行初始化。

  • replicaManager:ReplicaManager对象,Offsets Topic与普通的Topic一样,在ZooKeeper中也记录相关的配置信息;Offsets Topic分区与普通的Topic的分区一样,也有Leader副本、ISR集合、AR集合等概念,也会出现Leader副本的迁移等情况,所以也是由ReplicaManager进行管理的。

  • scheduler:KafkaScheduler对象,用于执行delete-expired-consumer-offsets、GroupCoordinator迁移等任务。

groupsCache管理与offsetsCache管理

记录GroupMetadata信息的消息和记录消费offset位置的消息都是通过partitionForO方法在Offsets Topic中选择合适的分区。

所以同一Consumer Group对应的这两类消息会被分配到同一个Offsets Topic分区中,但是这两类消息的key有所不同。

GroupMetadataManager提供了对groupsCache集合的管理方法,getGroup、addGroup方法实现比较简单,这里需要注意的是removeGroup方法。

removeGroup不仅会将groupCache集合中的GroupMetadata对象删除,还会向OffsetsTopic中写入一个value为空的消息作为"删除标记"。将value为空的消息看作对前面相同key的消息的"删除标记"。

相关推荐
2501_9418779812 小时前
Python在微服务高并发异步日志聚合与智能告警分析架构中的实践
kafka
SuperHeroWu715 小时前
【HarmonyOS 6】UIAbility跨设备连接详解(分布式软总线运用)
分布式·华为·harmonyos·鸿蒙·连接·分布式协同·跨设备链接
杜子不疼.15 小时前
【探索实战】从0到1打造分布式云原生平台:Kurator全栈实践指南
分布式·云原生
最笨的羊羊16 小时前
Flink CDC系列之:Kafka CSV 序列化器CsvSerializationSchema
kafka·csv·schema·flink cdc系列·serialization·序列化器
最笨的羊羊16 小时前
Flink CDC系列之:Kafka的Debezium JSON 结构定义类DebeziumJsonStruct
kafka·debezium·flink cdc系列·debezium json·结构定义类·jsonstruct
m***l11517 小时前
集成RabbitMQ+MQ常用操作
分布式·rabbitmq
拾忆,想起19 小时前
Dubbo分组(Group)使用指南:实现服务接口的多版本管理与环境隔离
分布式·微服务·性能优化·架构·dubbo
回家路上绕了弯19 小时前
彻底解决超卖问题:从单体到分布式的全场景技术方案
分布式·后端
拾忆,想起20 小时前
Dubbo动态配置实时生效全攻略:零停机实现配置热更新
分布式·微服务·性能优化·架构·dubbo
每天进步一点_JL1 天前
事务与消息中间件:分布式系统中的可见性边界问题
分布式·后端