Troubleshooting系列-应用JVM启动参数调优实践

最近重新梳理了JVM参数以及垃圾收集器相关知识,准备拿现网一些应用实践优化下

1. 问题现象

选取去年新建立一个应用服务,后台架构基于spring boot+ mybatics + druid + dubbo + rocktemq进行搭建。上线后,发现该应用每天fullgc次数10+。业务高峰期可能半个小时或者1个小时一次,每次fgc时间大概在500ms。

选取一个具体的major gc详看,major gc前

major gc后

2. 问题分析

2.1 JVM参数分析

这个应用JVM启动参数如下

shell 复制代码
#!/bin/bash

# 设置Java堆栈大小
JAVA_OPTS="$JAVA_OPTS -Xmn1024m -Xms1024m -Xmx4096m -XX:MetaspaceSize=64m -XX:MaxMetaspaceSize=256m"
JAVA_OPTS="$JAVA_OPTS -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=8 -XX:-UseAdaptiveSizePolicy"
# 垃圾收集器设置
JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=60"
JAVA_OPTS="$JAVA_OPTS -XX:+CMSClassUnloadingEnabled"
...

结合上面一次major jc截图分析,发现堆在达到2.84G就开始major gc,gc完之后1.43g

从中发现两个问题:

  • 堆最大4g,2.84g后开始major gc,大概有1g多内存纯属浪费掉了
  • gc完之后还剩下1.43g,这个应用除了少部分缓存需要本地常驻外,大部分都是朝生夕死对象

结合启动参数,2.86g原因是-XX:CMSInitiatingOccupancyFraction=60,老年代占用达到60就开始major gc,以及-XX:SurvivorRatio=8年轻代晋升老年代次数偏低,查看yonggc概率,比较正常

综上所述,JVM参数调优如下

  1. -Xmn 1024m -> 2g (调大年轻代)
  2. -XX:CMSInitiatingOccupancyFraction=60 -> 85
  3. MaxTenuringThreshold=8->15 主要调整年轻代和老年代比例以及晋升难度增大,增加老年代堆内存使用率

2.2 堆内对象分析

major gc后堆内内存还是比较大,从现网取heap dump后,分析堆内内存分布情况

shell 复制代码
//123 通过jps获取应用进程替换 
jmap -dump:format=b,file=123.bin 123 
jstack -1 123>123jstack.txt 
jmap dump:live,format=b,file=123.bin2 123

获取堆后,查看top对象

发现有三类对象比较瞩目

  1. xxx.cacheItem 576m 这个是本地采用caffine做的本地缓存,缓存的有效期在1min,
java 复制代码
expireAfterWrite(1, TimeUnit.MINUTES)

当前caffine设置的最大缓存key是65535,实际使用时没这么多,一次major gc后大部分都清理掉了,可以把缓存最大key调低 65535->10240

  1. com.mysql.cl.jdbc.Connectianimpl 129.5m
    查看引用,最终是在 com.mysql.cj.jdbc.AbandonedConnectionCleanup这个druid的清理jdbc连接的thread中

不过这个问题网上有人解释过MySQL Connector内存增长问题排查 解决方案有两个

方案一不知是否有其他影响,当前采用方案2,减少连接数

目前采用的是druid,配置了单机最大连接数200,最少连接数5 mysql最大连接数2w左右,目前使用的是分库,但是每个数据库都合设在一起,导致一个应用和数据库的连接数是n*8*200,n当前大于20,导致最大连接数超过数据库本身配置,需要调低

最先连接数5也不对,高峰期,每个数据库实例一分钟4000个连接,最小的5连接数也不够,可能会导致连接数不断地创建和释放

调整druid的数据库连接池大小 maxActive=200 ->80 minIdle=5 ->15

  1. sun.security.ssI.SSLSessionContextImpl 132m 这个暂时没找到原因,先不管

3. 分析结果

根据上述结果,准备在下次升级时调整上述参数,调整运行情况等上线后更新结果

3.1 JVM调优策略

主要从堆大小 垃圾回收停顿时间 垃圾回收频率三个方向来调节

本次主要优化堆布局,并且增加垃圾回收频率

4. 参考

github.com/ben-manes/c...
本地缓存Caffeine的缓存过期淘汰策略
Java 8 内存管理原理解析及内存故障排查实践

相关推荐
blammmp14 分钟前
Java:数据结构-枚举
java·开发语言·数据结构
暗黑起源喵32 分钟前
设计模式-工厂设计模式
java·开发语言·设计模式
WaaTong37 分钟前
Java反射
java·开发语言·反射
齐 飞1 小时前
MongoDB笔记01-概念与安装
前端·数据库·笔记·后端·mongodb
九圣残炎1 小时前
【从零开始的LeetCode-算法】1456. 定长子串中元音的最大数目
java·算法·leetcode
wclass-zhengge1 小时前
Netty篇(入门编程)
java·linux·服务器
LunarCod1 小时前
WorkFlow源码剖析——Communicator之TCPServer(中)
后端·workflow·c/c++·网络框架·源码剖析·高性能高并发
Re.不晚2 小时前
Java入门15——抽象类
java·开发语言·学习·算法·intellij-idea
雷神乐乐2 小时前
Maven学习——创建Maven的Java和Web工程,并运行在Tomcat上
java·maven
码农派大星。2 小时前
Spring Boot 配置文件
java·spring boot·后端