RabbitMQ消息堆积问题及惰性队列

一,消息堆积

1,消费者堆积问题

当生产者生产消息的速度超过了消费者处理消息的速度,就会导致消息在队列中进行堆积,一定时间后会造成队列达到存储的上限,那么最开始进入队列的消息可能变成死信,会被丢弃(有关死信以及死信消息的处理问题的详细介绍可以看我的另一篇博客:RabbitMQ死信交换机、TTL及延迟队列_蜡笔小心眼子!的博客-CSDN博客)。

2,消息堆积的解决方案

解决消息堆积的方案一般是三种:

  1. 增加更多的消费者,多个消费者处于竞争的关系进行消息的消费(类似于RabbitMQ的工作模式);
  2. 对于单个消费者来说,可以采用线程池的方式进行消息的处理,消费者每拿到一个消息的时候就会创建一个线程来处理该消息;
  3. 扩大队列容积,提高堆积的上限。

二,惰性队列

1,惰性队列的特征

惰性队列(Lazy Queus),一般有如下三个特征:

  1. 接收到消息后直接存入磁盘而非内存;
  2. 消费者要消费消息时才会从磁盘中读取并加载到内存;
  3. 支持数百万条的消息存储。

2,设置惰性队列

2.1 将已经声明的队列设置成惰性队列

设置一个队列为惰性队列,只需要在声明队列时,指定x-queue-mode属性为lazy即可,可以通过命令行将一个运行中的队列修改为惰性队列:

java 复制代码
rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues 

2.2 声明队列时将队列设置成惰性队列

@Bean方式:

java 复制代码
    @Bean
    public Queue lazyQueue() {
        return QueueBuilder.durable("lazy.queue")
                .lazy()//开启x-queue-mode属性为lazy
                .build();
    }

注解方式:

java 复制代码
 @RabbitListener(queuesToDeclare = @Queue(
            name = "lazy.queue",
            durable = "true",
            //开启x-queue-mode属性为lazy
            arguments = @Argument(name = "x-queue-mode", value = "lazy")
    ))
    public void listenLazyQueue(String msg) {
        log.info("接收到 lazy.queue的消息:{}", msg);
    }

3,惰性队列的优缺点

3.1 优点

  1. 基于磁盘存储,消息上限高;
  2. 没有间歇性的page-out,性能比较稳定。

3.2 缺点

  1. 基于磁盘存储,消息时效性会降低;
  2. 性能受限于磁盘的IO。
相关推荐
爱喝白开水a7 分钟前
春节后普通程序员如何“丝滑”跨行AI:不啃算法,也能拿走AI
java·人工智能·算法·spring·ai·前端框架·大模型
毕设源码-朱学姐11 分钟前
【开题答辩全过程】以 基于Java的运动场地预约系统为例,包含答辩的问题和答案
java·开发语言
蜜獾云18 分钟前
Spring Cloud Hystrix 详细示-元一软件
java·spring cloud·hystrix
烛之武19 分钟前
SpringBoot 实战篇
java·spring boot·后端
lclcooky20 分钟前
Spring 核心技术解析【纯干货版】- XII:Spring 数据访问模块 Spring-R2dbc 模块精讲
java·后端·spring
李白的粉21 分钟前
基于springboot的相亲网站
java·spring boot·毕业设计·课程设计·相亲网站
毕设源码-邱学长25 分钟前
【开题答辩全过程】以 基于 java web 的篮球赛事管理系统的设计与实现为例,包含答辩的问题和答案
java·开发语言
aygh29 分钟前
Java八股文复习指南
java·面试·八股文·后端开发
小则又沐风a38 分钟前
类和对象(C++)---上
java·c++·算法
季明洵43 分钟前
动态规划及背包问题
java·数据结构·算法·动态规划·背包问题