RabbitMQ是如何解决消息堆积问题的?

当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息到达上限。

解决消息堆积问题通常有这样几种方案。

一、消费者角度

①增加消费者数量,当消费者处理速度跟不上生产者发送消息的速度时,可以通过增加更多的消费者实例来并行处理消息,从而提升总体处理能力。

②优化消费者性能:提升单个消费者处理速度,分析消费者代码,提升代码效率、增加资源。

二、队列角度

①增加队列容量。

②设置消息过期时间。为消息设置有效期,过期的消息会自动从队列中清除或转发到其他队列,这样可以避免长期堆积无用消息。

③使用优先级队列,对于不同优先级的消息,可以配置优先级队列,确保高优先级的消息优先被处理,降低低优先级消息对系统造成的压力。

④使用死信交换机。对于无法立即处理或处理失败的消息,可以配置死信交换器和队列。当消息达到一定重试次数或者超过一定期限未被成功消费时,消息将被转发到死信队列中,后续可以单独处理这部分消息,避免阻塞正常的消息流。

⑤使用惰性队列。对于传统的队列来讲,如果没有开启消息持久化,所有接收到的消息都是放在内存里面的,这样性能会很好,但是也带来了一个问题,RabbitMQ 设置了一个内存预警值(内存存储的上限,默认是 40%),如果在消息堆积的情况下,很容易就到达这个预警值,此时,RabbitMQ 就会处于一个暂停状态,会阻止生产者投递消息进来,然后把内存中的一部分消息清理出来,刷出到磁盘中,这动作也叫 "page out" . 进而导致 mq 的并发能力,忽高忽低,性能不稳定(每次page out 都会比较耗时,停顿一段时间。而惰性队列,收到的消息会直接写入磁盘,而非内存,也因此很难触发 mq 的内存预警,几乎不会出现 page out 的情况。消费者消费惰性队列的消息,也需要先从磁盘中读取并加载到内存中. 实际上这也会使延迟稍微高一点,毕竟磁盘的性能和内存还是有很大差距的,但是也在可以接收到范围内。支持数百万的消息存储,这也是因为他是磁盘存储(空间非常大)

相关推荐
每天一道题15 小时前
Kafka 是如何工作的?从 Broker、Partition、Offset 到 Consumer Group
分布式·kafka
用户14944848132017 小时前
为什么大厂很少直接用 2PC/TCC?聊聊分布式事务在真实业务里的落地套路
分布式·后端
code_slave(码畜)19 小时前
微服务架构落地:分库分表实战(下) —— 分布式主键、跨分片查询与分页聚合防坑
数据库·spring boot·分布式·spring cloud·微服务·架构·分库分表
德迅云安全-上官19 小时前
新一代智能分布式云接入:应用加速守护 TCP 业务安全与体验
分布式·tcp/ip·安全
凯凯姜19 小时前
分布式定时任务重复执行与故障恢复
分布式
Sayai21 小时前
Kafka 磁盘空间治理实战:retention 保留策略、log.dirs 在线扩容、分区跨盘迁移与不停机整体换盘
大数据·运维·分布式·kafka·消息队列
爱吃牛肉的大老虎1 天前
Redis之分布式 Session问题
数据库·redis·分布式
阿标在干嘛1 天前
分布式锁的“场景适配“:我们为什么在部分链路中选择了数据库乐观锁?
数据库·分布式
磐链科技1 天前
Web3区块链开发需要哪些核心技术?解析分布式网络、数字钱包与跨链交互方案
分布式·web3·区块链
爱吃火鸡面呀1 天前
PySpark 入门实战:从 DataFrame 到 SQL、DSL 与窗口函数
分布式·spark