Kafka 性能为什么比 RocketMQ 好

Kafka 性能更好的原因

因为 kafka 零拷贝技术跟 RocketMQ 的不一样。

  • kafka 零拷贝技术使用的是 sendfile+DMA scatter/gather 。只需要经过 2 次拷贝,2 次上下文切换
  • RocketMQ 零拷贝使用的 mmap 内存映射,需要经过 3 次拷贝,4 次上下文切换。

零拷贝相关知识可以移步零拷贝详解_0cpu拷贝-CSDN博客

那么为什么 RocketMQ 不适用 sendfile 呢?

java 复制代码
ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count);
// num = sendfile(xxx);
java 复制代码
void *mmap(void *addr, size_t length, int prot, int flags,
           int fd, off_t offset);
// buf = mmap(xxx)

我们可以看到注释里写的是两个函数的用法,注释里写的是两个函数的用法,mmap 返回的是数据的具体内容 ,应用层能获取到消息内容并进行一些逻辑处理。

sendfile 返回的则是发送成功了几个字节数具体发了什么内容,应用层根本不知道

而 RocketMQ 的一些功能,却需要了解具体这个消息内容,方便二次投递等,比如将消费失败的消息重新投递到死信队列中,如果 RocketMQ 使用 sendfile,那根本没机会获取到消息内容长什么样子,也就没办法实现一些好用的功能了。

而 kafka 却没有这些功能特性,追求极致性能,正好可以使用 sendfile。

除了零拷贝以外,kafka 高性能的原因还有很多,比如什么批处理,数据压缩啥的,但那些优化手段 rocketMQ 也都能借鉴一波,唯独这个零拷贝,那是毫无办法。

kafka 和 RocketMQ 怎么选?

这时候大家估计还是想知道 kafka 和 RocketMQ 到底该怎么选,用哪个。

  • 如果是大数据场景,比如你能频繁听到 spark,flink 这些关键词的时候,那就用 kafka。
  • 除此之外,如果公司组件支持,尽量用 RocketMQ。
相关推荐
ltl7 小时前
2PC 的真实失败模式:阻塞、脑裂与恢复
分布式
霸道流氓气质9 小时前
分布式系统设计:技术解析与实践
分布式
ACP广源盛1392462567312 小时前
蚂蚁百灵 Ling‑3.0‑flash 开源 + 昇腾 0‑Day 原生适配@ACP#GSV9001E 在国产算力矩阵中的机会与落地场景
大数据·人工智能·分布式·单片机·嵌入式硬件
汽车仪器仪表相关领域16 小时前
KRYPTON坚固型IP67 EtherCAT总线数据采集模块:工业级分布式采集方案
分布式·功能测试·汽车·压力测试·可用性测试
霸道流氓气质18 小时前
Java中信号量(Semaphore):从本地到分布式
java·开发语言·分布式
naierfengdian19 小时前
分布式风电助力乡村能源转型的技术路径
分布式·能源
霸道流氓气质20 小时前
RedLock:Redis 分布式锁的高可用方案
数据库·redis·分布式
DLYSB_20 小时前
Kafka 消费倾斜死锁与 Partition 掉队:我用 Rust 写了个“数据管道物理哨兵”,比 Grafana 报警快了 18 秒
rust·kafka·grafana·报警灯
hhzz20 小时前
《深度学习框架PyTorch入门与实践》系列:09-分布式与并行训练之DataParallel、DDP与Horovod
pytorch·分布式·深度学习
creator_Li21 小时前
Kafka消费者offset提交
kafka