消息队列出现消息积压应该如何处理

当消费者出现异常,很容易引起队列积压,如果一秒钟1000个消息,那么一个小时就是几千万的消息积压,是非常可怕的事情,但是生产线上又有可能会出现;

当消息积压来不及处理,rabbitMQ如果设置了消息过期时间,那么就有可能由于积压无法及时处理而过期,这消息就被丢失了;

解决方法如下:

  • 不建议在生产环境使用数据过期策略,一是数据是否丢失无法控制,二是一旦积压就很有可能丢失;建议数据的处理都有代码来控制;

  • 当出现消息积压时,做法就是临时扩大consumer个数,让消息快速消费,一般都是通过业务逻辑的手段来完成。

rabbitmq解决积压范例

1.修复consumer代码故障,确保consumer逻辑正确可以消费;

2.停止consumer,开启10倍20倍的queue个数;

  • 创建一个临时的consumer程序,消费积压的queue,并把消息写入到扩建的10倍queue中;
  • 再开启10倍20倍的consumer对新的扩充后队列进行消费;
  • 这种做法相当于通过物理资源扩充了10倍来快速消费;

3.当消费完成后,需要恢复原有架构,开启原来的consumer进行正常消费;

kafka解决范例

1.修复consumer代码故障,确保consumer逻辑正确可以消费;

2.停止consumer,新建topic,新建10倍20倍的partition个数;

  • 创建对应原topic的partition个数的临时的consumer程序,消费原来的topic,并把消息写入到扩建的新topic中;

  • 再开启对应新partition个数的consumer对新的topic进行消费;

  • 这种做法相当于通过物理资源扩充了10倍来快速消费;

3.当消费完成后,需要恢复原有架构,开启原来的consumer进行正常消费;

相关推荐
panxianren4 小时前
Bun 1.4 的 bun test --parallel 将 4 秒的测试套件缩短到约 1 秒
java·javascript
sunshine22 girl6 小时前
Java学习七 Java 项目实战2-注册业务
java·学习
省钱兄--zs6 小时前
北京24小时自助健身房系统软件开发实战:从架构设计到部署指南
java·数据仓库·spring boot·小程序·需求分析
youdexiang7 小时前
Android录音软件时间关键词检索功能分析
java·人工智能
sunshine22 girl7 小时前
Java学习七 Java 项目实战1-项目创建和主页面搭建
java·开发语言·学习
code2cat7 小时前
Java进阶篇之AtomicStampedReference:引用回到原值,版本戳仍能记住变化
java·cas·并发编程·aba
泡茶喝茶写代码9 小时前
A股量化数据工程:从 REST 接口到策略信号(第 8 篇):成长能力因子:营收与利润增速
java·python·股票数据api·股票数据api接口·股票量化数据api·股票量化数据接口·股票数据api数据
\光辉岁月/10 小时前
7.javase-面向对象
java·开发语言
weixin_5310946910 小时前
heap_4内存管理
java·开发语言·算法
程序员南飞10 小时前
win系统安装minio
java·数据结构·算法