Troubleshooting系列-应用JVM启动参数调优实践

最近重新梳理了JVM参数以及垃圾收集器相关知识,准备拿现网一些应用实践优化下

1. 问题现象

选取去年新建立一个应用服务,后台架构基于spring boot+ mybatics + druid + dubbo + rocktemq进行搭建。上线后,发现该应用每天fullgc次数10+。业务高峰期可能半个小时或者1个小时一次,每次fgc时间大概在500ms。

选取一个具体的major gc详看,major gc前

major gc后

2. 问题分析

2.1 JVM参数分析

这个应用JVM启动参数如下

shell 复制代码
#!/bin/bash

# 设置Java堆栈大小
JAVA_OPTS="$JAVA_OPTS -Xmn1024m -Xms1024m -Xmx4096m -XX:MetaspaceSize=64m -XX:MaxMetaspaceSize=256m"
JAVA_OPTS="$JAVA_OPTS -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=8 -XX:-UseAdaptiveSizePolicy"
# 垃圾收集器设置
JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=60"
JAVA_OPTS="$JAVA_OPTS -XX:+CMSClassUnloadingEnabled"
...

结合上面一次major jc截图分析,发现堆在达到2.84G就开始major gc,gc完之后1.43g

从中发现两个问题:

  • 堆最大4g,2.84g后开始major gc,大概有1g多内存纯属浪费掉了
  • gc完之后还剩下1.43g,这个应用除了少部分缓存需要本地常驻外,大部分都是朝生夕死对象

结合启动参数,2.86g原因是-XX:CMSInitiatingOccupancyFraction=60,老年代占用达到60就开始major gc,以及-XX:SurvivorRatio=8年轻代晋升老年代次数偏低,查看yonggc概率,比较正常

综上所述,JVM参数调优如下

  1. -Xmn 1024m -> 2g (调大年轻代)
  2. -XX:CMSInitiatingOccupancyFraction=60 -> 85
  3. MaxTenuringThreshold=8->15 主要调整年轻代和老年代比例以及晋升难度增大,增加老年代堆内存使用率

2.2 堆内对象分析

major gc后堆内内存还是比较大,从现网取heap dump后,分析堆内内存分布情况

shell 复制代码
//123 通过jps获取应用进程替换 
jmap -dump:format=b,file=123.bin 123 
jstack -1 123>123jstack.txt 
jmap dump:live,format=b,file=123.bin2 123

获取堆后,查看top对象

发现有三类对象比较瞩目

  1. xxx.cacheItem 576m 这个是本地采用caffine做的本地缓存,缓存的有效期在1min,
java 复制代码
expireAfterWrite(1, TimeUnit.MINUTES)

当前caffine设置的最大缓存key是65535,实际使用时没这么多,一次major gc后大部分都清理掉了,可以把缓存最大key调低 65535->10240

  1. com.mysql.cl.jdbc.Connectianimpl 129.5m
    查看引用,最终是在 com.mysql.cj.jdbc.AbandonedConnectionCleanup这个druid的清理jdbc连接的thread中

不过这个问题网上有人解释过MySQL Connector内存增长问题排查 解决方案有两个

方案一不知是否有其他影响,当前采用方案2,减少连接数

目前采用的是druid,配置了单机最大连接数200,最少连接数5 mysql最大连接数2w左右,目前使用的是分库,但是每个数据库都合设在一起,导致一个应用和数据库的连接数是n*8*200,n当前大于20,导致最大连接数超过数据库本身配置,需要调低

最先连接数5也不对,高峰期,每个数据库实例一分钟4000个连接,最小的5连接数也不够,可能会导致连接数不断地创建和释放

调整druid的数据库连接池大小 maxActive=200 ->80 minIdle=5 ->15

  1. sun.security.ssI.SSLSessionContextImpl 132m 这个暂时没找到原因,先不管

3. 分析结果

根据上述结果,准备在下次升级时调整上述参数,调整运行情况等上线后更新结果

3.1 JVM调优策略

主要从堆大小 垃圾回收停顿时间 垃圾回收频率三个方向来调节

本次主要优化堆布局,并且增加垃圾回收频率

4. 参考

github.com/ben-manes/c...
本地缓存Caffeine的缓存过期淘汰策略
Java 8 内存管理原理解析及内存故障排查实践

相关推荐
秋天的怀念_David18 分钟前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法
考虑考虑21 分钟前
JDK27中的加密对象的 PEM 编码
java·后端·java ee
Coder_shen26 分钟前
汇川 EVO 系列 PLC EtherNet/IP(CIP)协议通信驱动的 C# 实现
后端
行百里er27 分钟前
【Spring Insight 技术分享】如何让 AI 解释失败也不拖垮控制台
后端·spring cloud·开源
行者-全栈开发1 小时前
SpringBoot + GraalVM 原生编译实战:启动时间从8秒到0.5秒的极致优化
java·spring boot·后端
CoderYanger1 小时前
Java EE 进阶:10. MyBatis-Plus使用(第一弹)
java·spring boot·后端·sql·spring·java-ee·mybatis
一条Go2 小时前
状态页与 SLA:对外承诺是怎么算出来的
后端·架构·github
喵个咪2 小时前
GoWind IM 场景:乙方怎么用一套 IM 平台交付多个客户——档位、租户与离线交付
后端·go·saas
大胖爱学习_MJ3 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
吃我一窝jio3 小时前
Java博客极简写作三支柱
java