【JVM】线上一次fullGC排查思路

fullGC问题背景

监控告警发现,今天开始我们线上应用频繁出现fullGC,并且每次出现后磁盘都会被占满

查看监控

查看监控发现FULLGC的机器均为同一个机房的集器,并且该机房有线上error报错,数据库监控对应的时间点也有异常,从今天的时间点开始,线上就频繁出现fullgc,并且磁盘一直告警。告警出现得很有规律,大概隔五分钟出现一次,每次出现后都会导致应用出现fullgc,影响系统稳定性。

确认fullGC的原因

对象分配到JVM的内存空间,是有分配策略的,比如:

(1)、大对象优先分配老年代

(2)、对象优先分配到年轻代的 Eden区,然后是 servicer1区,然后是老年代

(3)、老对象也会放到老年代

(4)、分配担保: 就是在年轻代的两个区都放不下的时候,就分配到老年代,如果老年代也放不下了,那么就会进行fullGC

我们进行dump日志查看,发现每次fullGC时都有一个大VO对象,占用很大的内存(线上数据不方便贴图,这里举个别的例子)

说明本次内存泄漏的根本原因是跟该对象有关

再仔细观察堆内内存使用情况发现发生fullgc后,老年代该对象就可以正常回收,说明该对象的因为过大而直接进入老年代的,本来如果是小对象就会直接被YGC回收的。

查看代码确认该对象来源

查看代码发现,我们dao层中存在一个sql直接返回了全量数据库对象,导致每次捞取后就直接进入了老年代,执行完后也没有被回收。fullgc每次隔一段时间就发生,是因为该调用链路是一个定时任务,把该条数据订正后,fullGC也恢复正常了

查看为什么fullgc后磁盘会被占满

这是因为我们当时配置了自动dump的参数,每次fullgc后都会去dump日志,并且dump的日志太大,占用了很大的磁盘空间,导致线上一直在告警

相关推荐
额呃呃15 小时前
信号量唤醒线程的实际机制
java·开发语言·jvm
bjxiaxueliang16 小时前
一文详解Cpp多线程编程:从传统pthread到现代thread实践指南
java·开发语言·jvm
开心比对错重要18 小时前
进程、线程、虚拟线程详解及线程个数设置
java·jvm·算法·面试
Selegant1 天前
百万 QPS 下的 Java 服务调优:JVM 参数、GC 策略与异步非阻塞编程
java·开发语言·jvm
消失的旧时光-19431 天前
从 JVM 到 Linux:一次真正的系统级理解
android·linux·jvm
五阿哥永琪1 天前
JVM 的内存区域是如何划分的?
jvm
没有bug.的程序员1 天前
Sentinel 流控原理深度解析:从SlotChain到热点参数限流的设计哲学
jvm·微服务·云原生·eureka·sentinel·服务发现
程序员zgh2 天前
C语言 指针用法与区别(指针常量、常量指针、指针函数、函数指针、二级指针)
c语言·开发语言·jvm·c++
没有bug.的程序员2 天前
熔断、降级、限流:高可用架构的三道防线
java·网络·jvm·微服务·架构·熔断·服务注册
风景的人生2 天前
一台电脑上可以同时运行多个JVM(Java虚拟机)实例
java·开发语言·jvm