线上jvm假死问题排查

1.线上告警接口超时

看接口是用户服务,查看nacos服务实例,发现有一个节点已经下线了

3.找到对应节点所在服务器,jps -l 命令发现用户服务还在,初步判断是假死

4.使用 jstat -gc 进程id 1000 每秒打印gc情况,发现频繁full gc,平均3秒一次,然后每次gc时间大概3~4秒

5.jmap -heap 进程id发现新生代和老年代都满了,紧急生成堆转储 jmap -dump:format=b,file=heapdump.hprof ,然后重启服务

6.使用MAT分析堆栈信息,排查内存泄漏的问题,看到分析是mysql查询时有占用了1.1G左右,jvm才配置了2G,当时想到可能是无条件查询导致查询了大量数据

7.继续排查看到线程的堆栈指向的业务代码是查询用户,看了下相关逻辑是有传手机号码查询用户的

8.由于是查询数据库占用了大量堆内存,所以判断当时查询肯定是很慢的,所以看了阿里云数据库的慢sql记录,果然发现查询返回了150多万数据

9.看了具体SQL是手机号码传1,使用的是模糊匹配,导致所有用户都查出来了

复制代码
select * from user where mobile LIKE '%1%'

10.调整代码为不使用模糊搜索,解决问题

复制代码
select * from user where mobile = '1'
相关推荐
CHANCE V14 小时前
线上 JVM 实战
jvm
钱栈up1 天前
IDEA 一天冻死两次:顺着线程 dump 揪出 JRebel,再用 DCEVM 把它替掉
jvm·agent·intellij idea
薛之谦_2 天前
Java 全栈知识体系:从 IDEA 高效开发到 JVM、并发与 Stream 实战
java·jvm·intellij-idea
jyOverQ2 天前
从零学 JVM(六):垃圾回收算法详解——标记清除、标记复制与标记整理
jvm·算法
金銀銅鐵2 天前
带您看懂字节码指令(三):一行加法里有什么
java·jvm
jyOverQ3 天前
从零学 JVM(七):垃圾收集器详解——Serial、ParNew、Parallel、CMS 与 G1
java·jvm
金銀銅鐵3 天前
带您看懂字节码指令(三):同一行加法,为什么有四种指令
java·jvm
jyOverQ3 天前
从零学 JVM(五):垃圾回收机制——对象存活判断与 GC Roots
jvm
金銀銅鐵4 天前
一个 4 个常量的枚举,Kotlin 在字节码里生成了什么
jvm·kotlin
2301_808414384 天前
Linux线程的同步与互斥
jvm