Kafka架构 主题中的分区

分区是隶属于主题之下的。

第一个图满足了最基本的消息的发布订阅,但是kafka是一个高吞吐量的消息队列,假如producer生产的速度远远大于consumer的消费能力,那么会造成topic下的数据堆积。

消息堆积满之后就需要扩展了,否则效率低下。于是就需要通过分区扩展了。分区的作用其实就是为了提高数据的吞吐量,提高消费能力了。

有三个消费者就可以同时消费三个分区里面的数据,这样就是上面没有分区的三倍了。

如果没有分区,那么三个消费者从分区当中拉取数据,数据是有offset的,这时候offset是单调递增的,也就意味着在同一个时间点所有的consumer只能读取一条数据。

但是有三个分区,这三个分区互不影响互不打扰,每一套分区里面都有自己的offset,每个consumer消费对应分区的数据,这样同一个时间点是可以读取到3条数据。所有有三个分区是单分区的3倍吞吐量。

为了提高吞吐量和提高处理数据的能力,它们去做了多个分区。

另外的两个分区在其他broker上面

也就是说这个topic有三个分区,这三个分区尽量均匀的发布在3个broker上面。

为什么要使用分区?其实最直观的原因是为了提高kafka集群的数据吞吐能力,数据消费能力。有了分区之后就可以去启动多个消费者同时去消费不同分区中的数据来提高这样的并行度。

分区就是把kafka当中的主题分成了若干个部分,分区是一个物理概念,我们可以实实在在看到这样的目录存在。而这样的目录也会尽量去做一个均衡的处理。

就像上面创建的一个主题,它会将三个分区尽量的均匀分布在每一个broker上。

相关推荐
Deng桑11 小时前
分布式锁与幂等
分布式
Flynn Liang14 小时前
物联网时序数据乱序问题全链路治理:从设备到存储的五层实战(附 Flink/Kafka/IoTDB 配置级代码)
flink·kafka·iot·iotdb·emqx·乱序·时序数据
wifi___14 小时前
Redis分布式锁
数据库·redis·分布式
方方洛17 小时前
ray教程-15-RayServe与LLM服务
人工智能·分布式·机器学习
m0_6399069418 小时前
MySQL 实现分布式锁:悲观锁、乐观锁、唯一索引锁
数据库·分布式·mysql
T量子永生19 小时前
Android SISO 分布式编译集群配置方案
android·分布式·云计算·源代码管理
starzy19901 天前
Kafka响应发送:字节是怎么真正写回客户端的
大数据·kafka
KaiwuDB1 天前
KaiwuDB 分布式集群扩缩容,从原理到完整操作踩坑总结
运维·数据库·分布式
泡海椒1 天前
深度解析JQuick-SQL AST到逻辑计划转换机制|分布式SQL原理
数据库·分布式·sql
阳光不锈@1 天前
三大主流消息队列架构设计思想剖析:从 RabbitMQ 到 RocketMQ 的改造实践
kafka·rabbitmq·rocketmq·rabbit改造rocket·去除rabbitmq·rabbitmq改造