业务代码写不好直接把RabbitMQ干崩了

最近做了一次技术改造,由于对业务细节的不熟悉,开发代码细节处理不好,导致出了线上事故,把线上的服务和RabbitMQ内存都打满了。

事故回顾

  1. 中午11点左右业务人员反映系统异常,无法操作使用。
  2. 随后前台门户网站部分功能访问异常
  3. 开发人员进行紧急排查,发现是mq挤压
  4. 11点半左右,后台A服务所有副本已处于瘫痪状态,各种操作都是超时。
  5. 12点16左右紧急处理完问题上线服务,把挤压数据处理掉,线上服务逐渐恢复正常

原因剖析

1、生产者在推送mq消息的时候推送发布时间字段是空,导致queue消费端一直消费失败,消费者是开启自动ack,消费失败后又回到queue,接着再被消费,变成死循环,造成消息积压,导致rabbitmq机器内存一直在增长,吞吐量下降。 错误代码 错误日志: 2、因为queue消息积压内存持续增长,处理消息能力下降。生产者推送消息也要很久才会被ack确认。生产者的推送线程长时间处于阻塞状态,越来越多线程阻塞住,生产者也会被逐渐被拖垮。

生产者接口调用:

后续处理

迅速进行了线上服务回滚,保证了系统可用。相关开发人员根据问题定位做又一次迭代优化。 对于这种小架构级别的改动还是详细调用业务,梳理业务流程,画业务流程图,以方便测试人员针对性测试.

相关推荐
Pomelo_刘金几秒前
Clean Architecture 整洁架构:借一只闹钟讲明白「整洁架构」的来龙去脉
后端·架构·rust
双力臂4044 分钟前
Spring Boot 单元测试进阶:JUnit5 + Mock测试与切片测试实战及覆盖率报告生成
java·spring boot·后端·单元测试
midsummer_woo2 小时前
基于spring boot的医院挂号就诊系统(源码+论文)
java·spring boot·后端
Olrookie3 小时前
若依前后端分离版学习笔记(三)——表结构介绍
笔记·后端·mysql
沸腾_罗强3 小时前
Bugs
后端
一条GO3 小时前
ORM中实现SaaS的数据与库的隔离
后端
京茶吉鹿3 小时前
"if else" 堆成山?这招让你的代码优雅起飞!
java·后端
长安不见3 小时前
从 NPE 到高内聚:Spring 构造器注入的真正价值
后端
smileNicky3 小时前
RabbitMQ有多少种Exchange?
分布式·rabbitmq
你我约定有三3 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby