业务代码写不好直接把RabbitMQ干崩了

最近做了一次技术改造,由于对业务细节的不熟悉,开发代码细节处理不好,导致出了线上事故,把线上的服务和RabbitMQ内存都打满了。

事故回顾

  1. 中午11点左右业务人员反映系统异常,无法操作使用。
  2. 随后前台门户网站部分功能访问异常
  3. 开发人员进行紧急排查,发现是mq挤压
  4. 11点半左右,后台A服务所有副本已处于瘫痪状态,各种操作都是超时。
  5. 12点16左右紧急处理完问题上线服务,把挤压数据处理掉,线上服务逐渐恢复正常

原因剖析

1、生产者在推送mq消息的时候推送发布时间字段是空,导致queue消费端一直消费失败,消费者是开启自动ack,消费失败后又回到queue,接着再被消费,变成死循环,造成消息积压,导致rabbitmq机器内存一直在增长,吞吐量下降。 错误代码 错误日志: 2、因为queue消息积压内存持续增长,处理消息能力下降。生产者推送消息也要很久才会被ack确认。生产者的推送线程长时间处于阻塞状态,越来越多线程阻塞住,生产者也会被逐渐被拖垮。

生产者接口调用:

后续处理

迅速进行了线上服务回滚,保证了系统可用。相关开发人员根据问题定位做又一次迭代优化。 对于这种小架构级别的改动还是详细调用业务,梳理业务流程,画业务流程图,以方便测试人员针对性测试.

相关推荐
码事漫谈4 小时前
# 2027年,AI终于要开始“干活”了
后端
小满zs5 小时前
Go语言第二十一章(Gin上传文件)
后端·go
JavaGuide7 小时前
Cloudflare 开源的这套神级安全审计 Skill 太好用了!
前端·后端
学长毕设7 小时前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
Resean02238 小时前
Spring 源码分析(七)AOP 原理(上):代理的创建
java·后端·spring
Tangq一定可以的8 小时前
Spring AI Advisor 详解 - 给大模型调用加上“切面“,日志/过滤/记忆一键搞定
java·后端·spring
小巫编程室8 小时前
我造了一个 Java 能力包:让 AI 直接调用你的业务代码
java·前端·后端
十有八七8 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端
Swot9 小时前
产品 RAG 知识库与 AI 顾问 设计与实现
前端·后端
深入云栈9 小时前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构