线上问题-服务又又又又掉线了,有人要倒霉了

前言

不好啦❗ 天塌了❗ 系统崩了❗ 服务又又又又掉线了❗ 有人要倒霉了❗

快看啊,一个上线3年的业务,突然就崩了

生产问题群爆炸了

我的心里活动一:"这个服务现在是交给我负责,我得快点排查清楚,最好汇报,最好能把责任推出去"
我的心里活动二:"太好了😀太好了😀终于给我碰上了,这个问题可很少发生啊,又积累血琳琳的生产一个问题"

理论基础 juejin.cn/post/748721...

不想看废话的直接看【解决过程和方案】 吧

排查过程

先看pinponint监控 一年看出tomcat线程耗尽 直接百分百锁定服务掉线原因

进一步看这个爬坡过程,发现持续爬坡接近1个小时,是什么样的接口导致他爬坡1小时呢!!!

再看掉线前几分钟日志,发现tomcat只有几个线程在处理web请求,其他线程未曾在日志中发现,

这样一来进一步确认了上一步监控看到的现象。

所以 我们是不是找到某个线程最后处理请求是那个接口是不是就可以确认,是那个接口出的问题呢。

看这个211线程 最后处理请求是在这个时间,处理这个接口,之后这个线程就再也未曾出来过,

接着又看了几个线程 最后一次请求也是这个接口

所以基本已经定位出那个接口出的问题

上代码 结合日志加代码, 发现finally块代码始终未执行

那么 直接定位出 阻塞在了红框内

相关推荐
cj6341181503 小时前
【MySQL】mysqldump使用方法
java·后端
JIngJaneIL3 小时前
停车场管理|停车预约管理|基于Springboot的停车场管理系统设计与实现(源码+数据库+文档)
java·数据库·spring boot·后端·论文·毕设·停车场管理系统
雪域迷影4 小时前
Go语言中通过get请求获取api.open-meteo.com网站的天气数据
开发语言·后端·http·golang·get
于小汐在咯7 小时前
深入浅出:增强现实(AR)技术全解析
后端·ar·restful
爱上妖精的尾巴7 小时前
5-27 WPS JS宏数组元素添加删除应用2
后端·restful·wps·js宏
努力的小郑7 小时前
与产品经理的“模糊”对决:Elasticsearch实现MySQL LIKE '%xxx%' 的奇幻之旅
后端·elasticsearch·搜索引擎
一 乐8 小时前
物业管理系统|小区物业管理|基于SprinBoot+vue的小区物业管理系统(源码+数据库+文档)
java·前端·数据库·vue.js·spring boot·后端
稚辉君.MCA_P8_Java8 小时前
RocketMQ 是什么?它的架构是怎么样的?和 Kafka 又有什么区别?
后端·架构·kafka·kubernetes·rocketmq
yolo_Yang8 小时前
【Spring Boot】Spring Boot解决循环依赖
java·spring boot·后端
wdfk_prog8 小时前
结合QBoot与HPatchLite实现高效差分升级(FOTA)
java·后端·struts