RabbitMQ — 数据持久化实现MQ可靠性

上篇我们实现:publisher发送到MQ的可靠性实现,那么接下来MQ本身对于消息的处理该如何保证可靠呢?

数据持久化

消息到达MQ以后,如果MQ不能及时保存,也会导致消息丢失,所以MQ的可靠性也非常重要。

为了提升性能,默认情况下MQ的数据都是在内存存储的临时数据,重启后就会消失。为了保证数据的可靠性,必须配置数据持久化。

由图像可知实现在MQ中数据持久化:

交换机(Exchange)持久化

队列(Queue)持久化

消息(Message)持久化

事实上,我们在编写代码时默认是实现持久化了。

默认实现过程:在默认情况下,RabbitMQ会将接收到的信息保存在内存中以降低消息收发的延迟。出现消息堆积问题,RabbitMQ的内存占用就会越来越高,直到触发内存预警上限。此时RabbitMQ会将内存消息刷到磁盘上。

简单描述:导致消息积压------>触发内存预警上限------>RabbitMQ会将内存消息储存磁盘

这是默认的处理机制,一般情况下是没有问题的。

在一些情况下:

1.消费者宕机或出现网络故障

2.消息发送量激增,超过了消费者处理速度

3.消费者处理业务发生阻塞

问题:RabbitMQ会将内存消息储存磁盘需要耗时较久------>阻塞队列进程------>生产者的所有请求都会被阻塞。

解决方案:3.12版本之后,LazyQueue已经成为所有队列的默认格式。因此官方推荐升级MQ为3.12版本或者所有队列都设置为LazyQueue模式。

当然,如果你的MQ为3.12版本之下的,解决方法如下:

(添加x-queue-mod=lazy参数可设置队列为Lazy模式)

1.如果你是基于@Bean方式声明队列:

java 复制代码
@Bean
public Queue lazyQueue(){
    return QueueBuilder
            .durable("lazy.queue")
            .lazy() // 开启Lazy模式
            .build();
}

2.如果你是基于注解来声明队列:

java 复制代码
@RabbitListener(queuesToDeclare = @Queue(
        name = "lazy.queue",
        durable = "true",
        arguments = @Argument(name = "x-queue-mode", value = "lazy")
))
public void listenLazyQueue(String msg){
    log.info("接收到 lazy.queue的消息:{}", msg);
}

对于已经存在的队列,也可以配置为lazy模式:(通过命令行)

java 复制代码
rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues  
相关推荐
青云交2 小时前
Java 大视界 -- 基于 Java 的大数据机器学习模型在图像识别中的迁移学习与模型优化
java·大数据·迁移学习·图像识别·模型优化·deeplearning4j·机器学习模型
2501_909800813 小时前
Java 集合框架之 Set 接口
java·set接口
断剑zou天涯3 小时前
【算法笔记】暴力递归尝试
java·笔记·算法
Nobody_Cares4 小时前
JWT令牌
java
沐浴露z4 小时前
Kafka入门:基础架构讲解,安装与使用
java·分布式·kafka
神秘的土鸡4 小时前
从数据仓库到数据中台再到数据飞轮:我的数据技术成长之路
java·服务器·aigc·数据库架构·1024程序员节
vir024 小时前
P1928 外星密码(dfs)
java·数据结构·算法·深度优先·1024程序员节
摇滚侠4 小时前
全面掌握PostgreSQL关系型数据库,备份和恢复,笔记46和笔记47
java·数据库·笔记·postgresql·1024程序员节
骑士9991115 小时前
rabbitMQ 的安装和使用
linux·rabbitmq
eguid_16 小时前
【开源项目分享】JNSM1.2.0,支持批量管理的jar包安装成Windows服务可视化工具,基于Java实现的支持批量管理已经安装服务的可视化工具
java·开源·jar·1024程序员节·windows服务·jar包安装成服务·exe安装成服务