说说RocketMQ性能优化的关键点

1. 批量发送消息
  • 支持一次性发送多条消息,减少客户端与Broker的网络通信次数。
  • 批量消息的Topic必须一致,不支持延迟和事务消息。
  • 批量消息总大小默认不超过4MB。
2. 消息压缩
  • 超过4KB的消息自动压缩,减少网络带宽压力和存储空间。
  • 压缩消息在客户端进行,节省带宽但增加CPU压力。
3. 高性能网络通信模型
  • 基于Netty实现,具有异步和事件驱动、高性能、可扩展性、简化API和安全性。
4. 零拷贝技术
  • 减少CPU拷贝次数和上下文切换次数,提高磁盘文件读写性能。
  • mmap()和sendfile()两种方式,mmap适用于需要修改文件内容的场景,sendfile适用于文件传输。
5. 顺序写
  • 消息按顺序写入文件,减少磁头移动和寻道时间,提高写入速度。
6. 高效的数据存储结构
  • CommitLog和ConsumeQueue配合,实现快速消息查找和拉取。
  • CommitLog存储消息,ConsumeQueue作为索引文件。
7. 异步处理
  • 异步刷盘和异步主从复制,提高消息存储效率,但可能增加不确定性。
8. 批量处理
  • 消费者批量拉取消息,减少网络通信次数。
  • 批量提交消费进度,提高效率。
9. 锁优化
  • 使用ReentrantLock和CAS原子操作代替传统锁机制,提高并发性能。
10. 线程池隔离
  • 不同业务请求分配不同线程池,隔离线程资源影响,提高并发性能和稳定性。

其他优化

  • 长轮询机制、文件预热机制等其他设计细节优化。

总结

RocketMQ的高性能得益于其在设计和实现上的多方面优化,包括但不限于批量处理、消息压缩、高性能网络通信、零拷贝技术、顺序写、高效的数据存储结构、异步处理、批量处理、锁优化和线程池隔离等。这些优化共同作用,使得RocketMQ在消息中间件领域表现出色。

相关推荐
Random Glow30 分钟前
一条 SQL 从输入到返回,中间经历了什么
数据库·后端·mysql·性能优化·innodb·1024程序员节
Linux实战笔记1 小时前
GraphQL vs REST API 设计实测:灵活查询与性能权衡逐项对比
性能优化·graphql·rest api·1024程序员节·dataloader·n+1 查询
余槐i1 小时前
开虚拟线程后接口反而更慢:JDK 21 synchronized 锁住载体线程的排查
java·spring boot·redis·mysql·性能优化
前进的李工13 小时前
飞书企业知识库设计+后端高频八股
数据库·redis·后端·mysql·性能优化·飞书·rag
祥Sir的SRE笔记21 小时前
CPU 100% 不一定是故障:压测打满、业务饱和、突变打满的判断与排查
linux·面试·性能优化·dba·sre·故障定位·性能排查
Sayai21 小时前
Elasticsearch 日志写入链路调优实战:ingest pipeline 补时间戳、时区偏移修复与按值类型路由(附 translog 实测)
大数据·运维·elasticsearch·搜索引擎·性能优化
楚识科技1 天前
内网环境 OCR 服务搭建:私有化部署的技术实现与性能优化
性能优化·ocr
利威尔xu1 天前
万字详解 | Go 进阶(二)GC 三色标记:STW 从 10ms 压到 40μs,1 次 Full GC 让线上 P99 抖了 3 秒
开发语言·后端·性能优化·golang·高并发
wuyk5551 天前
模块解耦实战:用 C 语言实现面向对象编程的三个层次
stm32·单片机·嵌入式硬件·性能优化·架构
Gauss松鼠会1 天前
GaussDB 内存相关参数及故障诊断
运维·数据库·sql·oracle·性能优化·架构·gaussdb