rocketMQ的消息存储CommitLog

本来是放到上一篇中撑撑场面,确实写的水,但是上一篇数据不好,只能重新开一篇啦,再水就应该换名"小水"了,可不能再水

持久化

下面咱们就硬转到持久化

rocketmq将消息存储到磁盘,默认路径是/{user_home}/store,当然这么重要的配置是可以通过配置文件修改的

commitlog

  1. commitlog里面是本本分分按顺序以固定格式存储的完整的消息内容和他的元数据 ‌‌(消息的主题(Topic)、队列ID(QueueId)、消息体(Body)、消息ID、时间戳等),能写这么长句也是看出文学水平一般了
    1. 生产者将消息给到broker,broker转身就送给了commitlog,也不是说送,转身就把这脏活累活安排给了commitlog
    2. commitlog不辱使命通过顺序写入,理所当然可以借助磁盘顺序I/O提升了写入性能
    3. 结合内存映射和异步刷盘保障了数据的高可靠性和高性能‌
    4. 关于固定格式:每个消息包含头部信息和实际内容,这种结构支持后续的高效检索和消费‌。
    5. 默认情况下是由多个1G的文件组成;

主要是字节存储,这样用很少的空间存储众多的关键信息,很有智慧,当然其他的中间件也大多是这样的思维方式,像咱们常用的对象也是,大智慧无处不在!

代码层面

最主要(当然都必不可少)mappedFileQueue,队列还能存什么,大家猜一猜?

里面就是咱们的文件数组了,当然代码层面是MappedFile!

mappedFile调用init方法,通过RandomAccessFile创建了commitlog,并保存到MappedByteBuffer中,没错看到buffer就知道他是一个内存缓冲区,

这大宝贝在很多时候都起着至关重要的作用,可谓承上启下的法宝,但是buffer终究是没那么大,太大就是磁盘了,没必要磁盘叠磁盘,所以她应当是小巧灵活的,先写buffer内存缓冲区再flush写入磁盘;

说到flush这也是骨灰级老玩家了,一般(异步)刷新到磁盘那方法不是这flush就是那flush,看起来亲切也好学,不得不感慨大神们都代码优雅,实在是优雅!

这和咱们上面说的不谋而合,本来也是一个东西

话说这都存进去了,如何读出来呢?

org.apache.rocketmq.store.CommitLog#getMessage

---看着名字起的,真的是令人心旷神怡

简单来说通过offset偏移量找mapperFile 再多余翻译一下就是通过偏移量找到目标文件(细枝末节的顶配的重要)

下面看到没,再次借助我们的buffer,从此轻松高效获取信息,要不说rocketmq快呢,用心都在细节处

看看上面代码是不是很熟悉,不得不说人家源码这名字起的!一目了然,当然要是想知道得更多还需要去挖代码,去c那里多看一看 瞧一瞧

再写就有点长了,暂时可以告一段路啦

相关推荐
Thanks_ks20 小时前
消息队列的进阶修炼:从 “不可靠交付” 到 “分布式最终一致性”
消息队列·rabbitmq·rocketmq·分布式事务·微服务架构·分布式系统·最终一致性
Apache RocketMQ1 天前
RocketMQ 源码解析——Controller 高可用切换架构
架构·rocketmq·java-rocketmq
Apache RocketMQ2 天前
Apache RocketMQ 5.0 架构解析:如何基于云原生架构支撑多元化场景
云原生·架构·apache·rocketmq·java-rocketmq
HEADKON2 天前
司拉德帕Seladelpar对比熊去氧胆酸在原发性胆汁性胆管炎中的碱性磷酸酶降低幅度
rocketmq
heimeiyingwang3 天前
【架构实战】RocketMQ实战:分布式消息中间件
分布式·架构·rocketmq
电魂泡哥3 天前
RocketMq是CP模型还是AP模型
rocketmq
Apache RocketMQ4 天前
RocketMQ源码解析——秒级定时消息介绍
java·云原生·消息队列·rocketmq·java-rocketmq
zkkkkkkkkkkkkk5 天前
python使用celery实现异步任务
redis·python·rabbitmq·rocketmq
江湖中的阿龙5 天前
消息队列核心面试题详解|RocketMQ深度剖析,含选型、可靠性、顺序性、幂等、积压、高可用、事务消息
rocketmq
不会写程序的未来程序员5 天前
从快递物流到分布式架构:RocketMQ全栈进阶实战指南——从入门到高手的代码与原理解析
分布式·架构·rocketmq