20260416,日常开发-再记一次内存溢出

背景

本文清晰的记录一次线上卡顿的解决过程,1来作为记录,2来给其他人带来帮助。

现象描述

多位用户反馈,系统卡顿;

登录系统后验证,不分菜单进不去。偶现

时间线

|-------|------------------------------------|------------------------------------|-------------------------|
| 9:13 | 产品支持群,有人反馈系统慢 | | |
| 9:35 | 俊哥群里喊人,组内开发排查 | 主要是日志的error。大多集中在crpc超时、rabbitMQ异常 | |
| 10:19 | 长亮发现有OutOfMemoryError异常,决定重启32.9节点 | | 直接通过grafana看内存是否异常,可先重启 |
| 10:28 | 长亮重启完成,通知客户。且反馈正常 | | |
| 11:07 | 定位OOM代码位置,讨论后得知,大概率车型参数 | | |
| 11:21 | 长亮确认执行SQL,确实是车型参数为空。表568万 | t_detection_v2_picture_store | |
| 11:44 | 长亮修复代码并上线,10min后,上线完成 | | |

从单点反馈到开发介入:22分钟;

从开发介入到解决并确认:53分钟。

系统卡顿确认

确认系统和机器节点。

问题定位

📎java stack of catalina-exec-12.log

定位代码位置

复制代码
at com.chaboshi.web.qa.controllers.detectionPicture.DetectionV2PictureStoreController.edit() (line: 92)

问题最终确认

全表查询,500W+。

问题解决

经验总结

避免大表,全表查询。

日志检索

复制代码
appName:qa
callerIp:
class:com.rabbitmq.client.impl.ForgivingExceptionHandler
env:PRO
hostIp:172.21.32.9
hostName:172.21.32.9
level:ERROR
msg:An unexpected connection driver error occurred
pid:2897
spanId:
stackTrace:java.lang.OutOfMemoryError: Java heap space
thread:AMQP Connection 172.21.80.19:5672
timestamp:2026-04-16 09:10:32.693
traceId:
uriPath:

关键字:java.lang.OutOfMemoryError

相关推荐
跨境技工小黎21 小时前
亚马逊数据抓取怎么做?2026最新实战教程
java·大数据·数据库
罗超驿21 小时前
2.LeetCode 1089. 复写零——双指针解法学习笔记
java·算法·leetcode
青山师21 小时前
Java枚举深度解析:从类型安全到JVM级单例模式
java·jvm·枚举·javase·java面试·java核心
雨辰AI21 小时前
SpringBoot3 + 人大金仓 V9 全栈日志实战:Logback + Loki + Filebeat 构建统一日志平台
java·数据库·后端·云原生·eureka·logback·政务
超梦dasgg21 小时前
java微服务项目的架构和链路串联
java·微服务·架构
SamDeepThinking21 小时前
打造高效团队的四个关键动作
java·后端·团队管理
1104.北光c°1 天前
Leetcode215 三种写法完成数组中的第K个最大元素 【hot100算法个人笔记】【java写法】
java·笔记·程序人生·算法·leetcode·排序算法·快速选择
青山师1 天前
Java注解深度解析:从元数据机制到框架开发基石
java·开发语言·注解·javase·java面试·后端开发·java核心
AI人工智能+电脑小能手1 天前
【大白话说Java面试题】【Java基础篇】第35题:怎样声明一个类不会被继承?什么场景下会用
java·开发语言·后端·面试
升鲜宝供应链及收银系统源代码服务1 天前
升鲜宝云仓供应链管理系统 数据库数据字典设计 (一)---升鲜宝生鲜配送供应链管理系统
java·生鲜配送源代码·供应链源代码·生鲜供应链源代码·企业erp源代码·云仓供应链管理系统