2023-07-14:讲一讲Kafka与RocketMQ中存储设计的异同?

2023-07-14:讲一讲Kafka与RocketMQ中存储设计的异同?

答案2023-07-14:

在Kafka中,文件的布局采用了Topic/Partition的方式,每个分区对应一个物理文件夹,且在分区文件级别上实现了顺序写入。然而,当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时,在高并发写入消息的情况下,IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈,成为系统性能的瓶颈。实际上,由于IO操作变得随机,所以在消息写入时,Kafka的IO性能会随着主题和分区数量的增加而先上升,然后下降。

RocketMQ追求在消息写入时实现极致的顺序写。所有的消息都会按顺序写入commitlog文件,不论主题或分区的数量增加,都不会影响其顺序性。

在消息的发送和消费共存的场景中,随着Topic数量的增加,Kafka的吞吐量会急剧下降,而RocketMQ则能够保持较为稳定的性能表现。因此,Kafka更适用于少量Topic和消费端的业务场景,而RocketMQ则更适合于涉及多个Topic和多个消费端的业务场景。

相关推荐
juniperhan29 分钟前
Flink 系列第10篇:Flink 分布式缓存详解
分布式·缓存·flink
Devin~Y1 小时前
大厂Java面试实战:Spring Boot/WebFlux、Redis+Kafka、K8s可观测性与Spring AI RAG/Agent三轮连环问
java·spring boot·redis·kafka·kubernetes·resilience4j·spring webflux
indexsunny2 小时前
互联网大厂Java求职面试实战:Spring Boot与微服务架构解析
java·spring boot·redis·kafka·spring security·flyway·microservices
gihigo19982 小时前
分布式发电的配电网有功-无功综合优化 MATLAB 实现
开发语言·分布式·matlab
脑子加油站3 小时前
OpenEuler24.03 分布式配置redis 集群
数据库·redis·分布式·php·nginx代理
想你依然心痛4 小时前
HarmonyOS 5.0工业物联网开发实战:构建分布式智能制造监控与数字孪生预测维护系统
分布式·物联网·harmonyos·数字孪生
zhixingheyi_tian4 小时前
Hadoop 之 native 库
大数据·linux·hadoop·分布式
蓝魔Y5 小时前
Apache—Kafka实践
分布式·kafka·apache
七夜zippoe5 小时前
DolphinDB数据模型:表、分区与分布式表
分布式·wpf·数据模型··dolphindb
ZC跨境爬虫5 小时前
纯requests+Redis实现分布式爬虫(可视化4终端,模拟4台电脑联合爬取)
redis·分布式·爬虫·python