RabbitMQ 持久化

  通过持久化可以尽量防止在RabbitMQ异常情况下(重启、关闭、宕机)的数据丢失。持久化技术是解决消息存储到队列后的丢失问题,但是通过持久化并不能完全保证消息不丢失。

持久化

  持久化技术可以分为交换机持久化、队列持久化以及消息持久化,它们的实现方案和实现目的均不相同。

交换机持久化

  交换机持久化是为了确保用户创建的交换机在RabbitMQ重启后依旧存在的一种手段。

  交换机持久化在声明交换机过程中通过将durable参数设置为true实现。交换机持久化会将交换机元数据也进行持久化,当然也包含队列和路由的绑定关系。但如果绑定关系存在,队列不存在则消息依旧不会发送到队列中。

队列持久化

  队列持久化可以保障队列自身的元数据不会丢失,不能保证存储在队列中的消息不会丢失。

  队列持久化在声明队列的过程中通过将durable参数设置为true实现。需要注意的是,虽然队列持久化不能保证消息持久化,但是消息的持久化实现必须依赖于队列持久化,也就是说持久化消息只有存储于持久化队列中才会真正实现持久化。

消息持久化

  消息持久化确保了消息入队后到消息被消费这一过程中的稳定性,防止由于故障异常原因导致存储在队列中尚未被消费的消息丢失。

  消息持久化可以在发送消息的过程中将消息元数据deliveryMode设置为2实现。

  消息持久化虽然可以尽量保证队列中的消息不丢失,但是并不能完全确保队列中的消息不丢失,待消息入队后,通过持久化技术会将消息写入磁盘中,但是Linux操作系统底层并不会实时的把数据写入磁盘中,它会首先将需要写入磁盘的数据放入缓存区中,如果消息入队并且将数据写入缓存区尚未写入磁盘的过程中出现服务器异常,则消息依旧面临了丢失的情况。

  该问题可以通过发布确认机制进行解决。我们了解到发布确认机制其实本质上是确保消息合法的发送到rabbitMQ中的交换机中的,但是发送确认机制的应答时间是在消息完成持久化后,因此我们可以通过发送确认机制加持久化技术进一步确保消息在队列中被持久化且避免丢失。

总结

内容 交换机持久化 队列持久化 消息持久化
实现方式 声明交换机是定义 声明队列时定义 发送消息时定义
作用 持久化交换机的元数据,避免重启丢失 持久化队列的元数据,避免重启丢失 持久化消息
特点 队列持久化不能代表消息持久化,但是持久化消息只能在持久化队列中进行 消息持久化也可能会存储消息丢失的问题,可通过发送确认机制和RabbitMQ集群的方式进一步保障消息的安全性。
相关推荐
网络工程小王3 小时前
【HCIE-AI】12.deepspeed分布式并行训练进阶版
人工智能·pytorch·分布式·学习·昇腾·deepspeed
ACP广源盛139246256735 小时前
国产算力互联IX8024@ACP#Kimi K3 开源后的端侧部署硬件架构分析
大数据·人工智能·分布式·单片机·嵌入式硬件
花生了什么事o6 小时前
分布式 ID 生成方案:从数据库自增到雪花算法
数据库·分布式·算法
爱吃提升21 小时前
python 分布式爬虫、爬虫合规与综合实战项目
分布式·爬虫·python
ZENERGY-众壹1 天前
跨品牌逆变器升级:华为锦浪德业 API 对接的 7 个坑
分布式·华为·数据归一化·光伏运维·逆变器api
薛定谔的猫19821 天前
LLaMA-Factory +DeepSpeed 分布式多卡训练实战全解
分布式·deepspeed·zero·多卡训练·多卡分布式训练
稚南城才子,乌衣巷风流1 天前
RabbitMQ 消息队列:从入门到实战
分布式·rabbitmq
Database_Cool_2 天前
单机 MySQL 迁移到分布式数据库方便吗?阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移
数据库·分布式·mysql
肥胖小羊2 天前
解决企业微信 AccessToken 刷新并发冲突的分布式锁机制实践
分布式·企业微信
过期动态2 天前
【LeetCode 热题 100】找到字符串中所有字母异位词
java·数据结构·算法·leetcode·职场和发展·rabbitmq