20260416,日常开发-再记一次内存溢出

背景

本文清晰的记录一次线上卡顿的解决过程,1来作为记录,2来给其他人带来帮助。

现象描述

多位用户反馈,系统卡顿;

登录系统后验证,不分菜单进不去。偶现

时间线

|-------|------------------------------------|------------------------------------|-------------------------|
| 9:13 | 产品支持群,有人反馈系统慢 | | |
| 9:35 | 俊哥群里喊人,组内开发排查 | 主要是日志的error。大多集中在crpc超时、rabbitMQ异常 | |
| 10:19 | 长亮发现有OutOfMemoryError异常,决定重启32.9节点 | | 直接通过grafana看内存是否异常,可先重启 |
| 10:28 | 长亮重启完成,通知客户。且反馈正常 | | |
| 11:07 | 定位OOM代码位置,讨论后得知,大概率车型参数 | | |
| 11:21 | 长亮确认执行SQL,确实是车型参数为空。表568万 | t_detection_v2_picture_store | |
| 11:44 | 长亮修复代码并上线,10min后,上线完成 | | |

从单点反馈到开发介入:22分钟;

从开发介入到解决并确认:53分钟。

系统卡顿确认

确认系统和机器节点。

问题定位

📎java stack of catalina-exec-12.log

定位代码位置

复制代码
at com.chaboshi.web.qa.controllers.detectionPicture.DetectionV2PictureStoreController.edit() (line: 92)

问题最终确认

全表查询,500W+。

问题解决

经验总结

避免大表,全表查询。

日志检索

复制代码
appName:qa
callerIp:
class:com.rabbitmq.client.impl.ForgivingExceptionHandler
env:PRO
hostIp:172.21.32.9
hostName:172.21.32.9
level:ERROR
msg:An unexpected connection driver error occurred
pid:2897
spanId:
stackTrace:java.lang.OutOfMemoryError: Java heap space
thread:AMQP Connection 172.21.80.19:5672
timestamp:2026-04-16 09:10:32.693
traceId:
uriPath:

关键字:java.lang.OutOfMemoryError

相关推荐
allnlei37 分钟前
s6-overlay - 装在 Docker 容器里的轻量级管家
java·docker·容器
IT_Octopus6 小时前
IntelliJ 本地日志路径自定义:`-DLOG_PATH=./logs` 为什么总“不听话“
java·log4j·intellij-idea
长征coder7 小时前
【无标题】
java·性能优化
新时代牛马8 小时前
PCI与PCIe 硬件原理、配置空间/BAR 与 Linux 驱动完整篇:从 LTSSM、TLP 到 ECAM 与probe
java·linux·服务器
Bs_MoneyMagnet8 小时前
基于springboot+vue的医疗健康便民服务平台的设计与实现 源码+文档
java·vue.js·spring boot·后端·spring
sunshine22 girl8 小时前
Java学习一 环境配置2 Idea的入门使用和maven配置,项目启动脚本配置
java·maven
有点。9 小时前
*C++哈夫曼树与哈夫曼编码
java·c++·servlet
CRMEB系统商城10 小时前
CRMEB标准版系统(Java)v3.1正式发布
java·spring·微信小程序·php·教育电商
写后端的胖头鱼10 小时前
【高频面试题】Java 基础类型 + 包装类 + String 互相转换
java·开发语言
weixin_4604435610 小时前
企业考试系统从.NET迁移到Java+Linux:数据库迁移、接口兼容与灰度切换实践
java·煤矿培训考试系统·煤矿在线考试系统·煤矿安全培训·煤矿考试系统·一人一档