线上问题-服务又又又又掉线了,有人要倒霉了

前言

不好啦❗ 天塌了❗ 系统崩了❗ 服务又又又又掉线了❗ 有人要倒霉了❗

快看啊,一个上线3年的业务,突然就崩了

生产问题群爆炸了

我的心里活动一:"这个服务现在是交给我负责,我得快点排查清楚,最好汇报,最好能把责任推出去"
我的心里活动二:"太好了😀太好了😀终于给我碰上了,这个问题可很少发生啊,又积累血琳琳的生产一个问题"

理论基础 juejin.cn/post/748721...

不想看废话的直接看【解决过程和方案】 吧

排查过程

先看pinponint监控 一年看出tomcat线程耗尽 直接百分百锁定服务掉线原因

进一步看这个爬坡过程,发现持续爬坡接近1个小时,是什么样的接口导致他爬坡1小时呢!!!

再看掉线前几分钟日志,发现tomcat只有几个线程在处理web请求,其他线程未曾在日志中发现,

这样一来进一步确认了上一步监控看到的现象。

所以 我们是不是找到某个线程最后处理请求是那个接口是不是就可以确认,是那个接口出的问题呢。

看这个211线程 最后处理请求是在这个时间,处理这个接口,之后这个线程就再也未曾出来过,

接着又看了几个线程 最后一次请求也是这个接口

所以基本已经定位出那个接口出的问题

上代码 结合日志加代码, 发现finally块代码始终未执行

那么 直接定位出 阻塞在了红框内

相关推荐
Moment14 分钟前
AI 编程时代,聊聊我的 Mac mini 双屏桌面
前端·后端
学长毕设1 小时前
基于SpringBoot的游乐园管理系统-附源码
java·spring boot·后端
橙序员小站2 小时前
Windows 安装包反复报错?一次排查补上了 5 个 CI 检查点
后端
陈随易2 小时前
Cloudflare 出钱,Vite 团队挑人,44 个维护者分 30 万美元
前端·后端·程序员
SimonKing2 小时前
震惊:怎么回事,opencode一轮对话耗尽免费额度
java·后端·程序员
张彦峰ZYF2 小时前
功能齐了不等于能上线:智能工单系统的AI回归测试、安全防护、成本可观测与CI/CD生产部署
后端·企业智能工单系统·评测线·安全线·成本线·部署线
Rain的Java大神之路2 小时前
LeetCode 37 解数独面试攻略:回溯 + 位掩码 + MRV,从暴力到毫秒级求解
java·后端·leetcode
量化分析码农3 小时前
【Python量化波动率实战 05】你的组合真的分散了吗:滚动相关与分散化收益
后端
IT_陈寒3 小时前
Vue这个奇葩的响应式问题让我加班到凌晨
前端·人工智能·后端
脚本自动化开发10 小时前
存储涨价后,磐镭WO5迷你主机值得买吗
后端