Troubleshooting系列-应用JVM启动参数调优实践

最近重新梳理了JVM参数以及垃圾收集器相关知识,准备拿现网一些应用实践优化下

1. 问题现象

选取去年新建立一个应用服务,后台架构基于spring boot+ mybatics + druid + dubbo + rocktemq进行搭建。上线后,发现该应用每天fullgc次数10+。业务高峰期可能半个小时或者1个小时一次,每次fgc时间大概在500ms。

选取一个具体的major gc详看,major gc前

major gc后

2. 问题分析

2.1 JVM参数分析

这个应用JVM启动参数如下

shell 复制代码
#!/bin/bash

# 设置Java堆栈大小
JAVA_OPTS="$JAVA_OPTS -Xmn1024m -Xms1024m -Xmx4096m -XX:MetaspaceSize=64m -XX:MaxMetaspaceSize=256m"
JAVA_OPTS="$JAVA_OPTS -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=8 -XX:-UseAdaptiveSizePolicy"
# 垃圾收集器设置
JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=60"
JAVA_OPTS="$JAVA_OPTS -XX:+CMSClassUnloadingEnabled"
...

结合上面一次major jc截图分析,发现堆在达到2.84G就开始major gc,gc完之后1.43g

从中发现两个问题:

  • 堆最大4g,2.84g后开始major gc,大概有1g多内存纯属浪费掉了
  • gc完之后还剩下1.43g,这个应用除了少部分缓存需要本地常驻外,大部分都是朝生夕死对象

结合启动参数,2.86g原因是-XX:CMSInitiatingOccupancyFraction=60,老年代占用达到60就开始major gc,以及-XX:SurvivorRatio=8年轻代晋升老年代次数偏低,查看yonggc概率,比较正常

综上所述,JVM参数调优如下

  1. -Xmn 1024m -> 2g (调大年轻代)
  2. -XX:CMSInitiatingOccupancyFraction=60 -> 85
  3. MaxTenuringThreshold=8->15 主要调整年轻代和老年代比例以及晋升难度增大,增加老年代堆内存使用率

2.2 堆内对象分析

major gc后堆内内存还是比较大,从现网取heap dump后,分析堆内内存分布情况

shell 复制代码
//123 通过jps获取应用进程替换 
jmap -dump:format=b,file=123.bin 123 
jstack -1 123>123jstack.txt 
jmap dump:live,format=b,file=123.bin2 123

获取堆后,查看top对象

发现有三类对象比较瞩目

  1. xxx.cacheItem 576m 这个是本地采用caffine做的本地缓存,缓存的有效期在1min,
java 复制代码
expireAfterWrite(1, TimeUnit.MINUTES)

当前caffine设置的最大缓存key是65535,实际使用时没这么多,一次major gc后大部分都清理掉了,可以把缓存最大key调低 65535->10240

  1. com.mysql.cl.jdbc.Connectianimpl 129.5m
    查看引用,最终是在 com.mysql.cj.jdbc.AbandonedConnectionCleanup这个druid的清理jdbc连接的thread中

不过这个问题网上有人解释过MySQL Connector内存增长问题排查 解决方案有两个

方案一不知是否有其他影响,当前采用方案2,减少连接数

目前采用的是druid,配置了单机最大连接数200,最少连接数5 mysql最大连接数2w左右,目前使用的是分库,但是每个数据库都合设在一起,导致一个应用和数据库的连接数是n*8*200,n当前大于20,导致最大连接数超过数据库本身配置,需要调低

最先连接数5也不对,高峰期,每个数据库实例一分钟4000个连接,最小的5连接数也不够,可能会导致连接数不断地创建和释放

调整druid的数据库连接池大小 maxActive=200 ->80 minIdle=5 ->15

  1. sun.security.ssI.SSLSessionContextImpl 132m 这个暂时没找到原因,先不管

3. 分析结果

根据上述结果,准备在下次升级时调整上述参数,调整运行情况等上线后更新结果

3.1 JVM调优策略

主要从堆大小 垃圾回收停顿时间 垃圾回收频率三个方向来调节

本次主要优化堆布局,并且增加垃圾回收频率

4. 参考

github.com/ben-manes/c...
本地缓存Caffeine的缓存过期淘汰策略
Java 8 内存管理原理解析及内存故障排查实践

相关推荐
尘浮生7 分钟前
Java项目实战II基于微信小程序的校运会管理系统(开发文档+数据库+源码)
java·开发语言·数据库·微信小程序·小程序·maven·intellij-idea
小白不太白95011 分钟前
设计模式之 模板方法模式
java·设计模式·模板方法模式
Tech Synapse13 分钟前
Java根据前端返回的字段名进行查询数据的方法
java·开发语言·后端
.生产的驴14 分钟前
SpringCloud OpenFeign用户转发在请求头中添加用户信息 微服务内部调用
spring boot·后端·spring·spring cloud·微服务·架构
xoxo-Rachel20 分钟前
(超级详细!!!)解决“com.mysql.jdbc.Driver is deprecated”警告:详解与优化
java·数据库·mysql
乌啼霜满天24921 分钟前
JDBC编程---Java
java·开发语言·sql
微信-since8119229 分钟前
[ruby on rails] 安装docker
后端·docker·ruby on rails
色空大师34 分钟前
23种设计模式
java·开发语言·设计模式
闲人一枚(学习中)35 分钟前
设计模式-创建型-建造者模式
java·设计模式·建造者模式