Kafka的分区(partition和副本)

在 Kafka 中,分区(Partition)是一个逻辑上的概念,它将一个主题(Topic)中的消息进行分组。每个分区都有一个唯一的编号,称为分区 ID(Partition ID),它从 0 开始递增。

通过分区,Kafka 可以将大量的消息分布到多个服务器上,从而提高系统的处理能力和吞吐量。

同时,分区也提供了一种灵活的消息分发方式,可以根据不同的需求将消息发送到不同的分区中。 在 Kafka 中,每个分区都有一个对应的文件,称为分区日志(Partition Log)。

分区日志是一个顺序写的日志文件,它存储了该分区中的所有消息。

每个消息都被分配到一个特定的分区中,并被存储在该分区的日志文件中。

Kafka 采用了分布式提交协议(Distributed Commit Protocol)来保证消息的可靠性和一致性。当生产者将消息发送到 Kafka 时,它会将消息存储到内存中,并将其提交到 Kafka 集群。

在提交过程中,Kafka 会将消息写入到对应的分区日志中,并在所有的副本中进行同步。 消费者可以订阅一个或多个主题,并从对应的分区中读取消息。Kafka 会根据消费者的订阅信息,将消息从对应的分区中读取出来,并发送给消费者。通过分区,Kafka 可以实现消息的负载均衡和高可用性。

一个分区同时只能被一个消费组的一个消费者消费。但有可能因为一些原因,这个分区会被分配到其他消费者。比如消费者减少或者增多,分区数量减少或者增多。如果有多个消费组都订阅一个主题,那么同一个分区就会同时被多个消费组的消费者消费。

一个分区内的消息是顺序的。

一个主题(Topic)的不同分区可以分布在不同broker上,这样可以解决单一broker的IO瓶颈问题。

分区有副本,分布在不同broker上。遵从一主多从的关系。leader负责读写。follower负责与leader同步。肯定有时延。

因为同步有时延。副本分为ISR和OSR。ISR就是能跟的上leader进度的(其中包含leader)。OSR就是因为一些原因跟不上leader副本的(不包含leader副本)或者失效的分区副本。

ISR内的follower可以参与leader的重新选主。OSR因为落后过多,不能参与leader重新选主。

leader副本中有两个标识位,一个是HW(High WaterMark),一个是LEO(Log End Offset)。LEO是leader副本中已经写入的消息所在的偏移量。HW是同步到ISR集合中所有副本后的消息的偏移量。消费者只可以读到小于HW偏移量的消息。leader副本的消息全部同步follower后,LEO=HW。表示leader副本内的消息全部可读。

ISR和OSR都是通过zookeeper记录的

副本的数据同步是follower发起的。一个消息只有在同步到所有副本后,才会被认为是已提交

相关推荐
ACP广源盛139246256732 小时前
DeepSeek‑V4‑Flash 公测@ACP#昇腾 950 国产算力组合落地,国产 PCIe 交换芯片 IX9104 有哪些硬件机会
大数据·数据库·人工智能·分布式·单片机·嵌入式硬件·microsoft
玉鸯3 小时前
多 Agent 并行时如何保证状态一致性?
分布式·python·agent
CodeHackerBhx4 小时前
Spring Boot 4 防重复提交:从接口幂等到 Redis 分布式锁的完整实践
java·数据库·spring boot·redis·分布式
城管不管7 小时前
RabbitMQ死信队列
java·分布式·ai·面试·职场和发展·rabbitmq·agent
2601_956456347 小时前
从研发到交付:嗨动视觉分布式KVM坐席系统的靠谱逻辑
分布式
java1234_小锋7 小时前
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统
小O的算法实验室8 小时前
AAAI-26,解空间变换引导的节能分布式异构柔性作业车间协同进化
分布式
ai_coder_ai1 天前
分布式缓存架构设计与实践
分布式·缓存
纯真时光1 天前
微服务分布式事务 -- XA,AT,TCC模式
分布式·微服务
笨蛋不要掉眼泪1 天前
RabbitMQ消息队列:业务幂等性
分布式·rabbitmq·java-rabbitmq