记一次RocketMQ线上broker内存持续升高问题排查

小奏技术2023-11-25 20:58

RocketMQ 版本

  • 5.1.0

jdk版本

1.8

JVM启动参数

sh 复制代码 
-Xms46g -Xmx46g -XX:MetaspaceSize=1259m -XX:MaxMetaspaceSize=2517m -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0 -verbose:gc -Xloggc:/dev/shm/rmq_srv_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m -XX:-OmitStackTraceInFastThrow -XX:-UseLargePages

现象

部署RocketMQ的linux宿主机内存持续升高。由50%升高到80%

排查

线程资源占用情况

由于宿主机上面只部署了一个broker，所以我们不用具体定位那个进程占用太多内存，直捣黄龙，使用 top -Hp pid查看线程的资源占用情况

可以看到都是broker的线程，我们随便看一个线程的堆栈情况吧 就第一个29465吧

执行jmap -heap 29465

可以看到一个很明显的现象是OldSize实际占用只有5M。说明没占用什么内存

Jvm gc

既然这样看不出我们就简单看看这个broker的GC情况吧

执行jstat -gc -h10 29134 1000 200

S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   32768.0  0.0   32768.0 30359552.0 14827520.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 15695872.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 16498688.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 17219584.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 17989632.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 18743296.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 19546112.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 20283392.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 21069824.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 21856256.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   32768.0  0.0   32768.0 30359552.0 22626304.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 23511040.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 24379392.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 25116672.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 25886720.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 26836992.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 27787264.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 28672000.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   16384.0  0.0   16384.0 30375936.0 901120.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 1785856.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 2572288.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 3342336.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 4489216.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 5603328.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 6799360.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 7880704.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 8699904.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 9502720.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 10321920.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 11124736.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 11943936.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 12746752.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 13729792.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 14893056.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 16269312.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 17547264.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 18628608.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 19431424.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 20316160.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 21250048.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 22118400.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 23003136.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 23756800.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 24461312.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 25411584.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 26279936.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 27082752.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 27934720.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 28835840.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 1064960.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 1818624.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 2654208.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 3342336.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 4243456.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 5095424.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 6045696.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 6815744.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 7667712.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 8470528.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 9289728.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 10174464.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 11026432.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 11960320.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 12795904.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 13762560.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 14548992.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 15384576.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 16138240.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 17055744.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 18055168.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 18857984.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 19644416.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 20496384.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 21430272.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 22364160.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 23166976.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 24084480.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 24969216.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 25952256.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 26836992.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 27770880.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 28573696.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 589824.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 1425408.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 2326528.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 3112960.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 3981312.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 4915200.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 5849088.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 6733824.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530

初步计算一下OC和OU

  • OC：17842176 / 1024.0 / 1024.0 = 17G
  • OU: select 2761609.3 / 1024.0 / 1024.0 = 2.6G

说明老年代的可用内存是17G，实际仅仅使用了2.6G左右。

  • EC: 30375936.0 / 1024.0 / 1024.0 = 28.96875G
  • EU: 27770880.0 / 1024.0 / 1024.0 = 26.484375G

实际G1中的新生代和老年代都是逻辑概念，动态变化的，每个Region即可以是新生代，也可以是老年代。

实际的堆内内存是 29 + 17 = 46G,和我们设置的堆内内存对的上，老年代仅仅用了2.6G，剩余14G左右可用。

堆外内存我们设置的是5G，算下来我们实际使用的内存大小为: 5G + 29G +3G = 37G. 实际使用内存为57% 剩余内存为 64 - 37G = 27G

为什么宿主机的内存占用居高不下

在JVM启动时，通过-Xms参数设置的堆内存是直接分配给JVM的，这部分内存即使没有使用，也不会被JVM释放给操作系统。这是为了避免在应用运行过程中频繁的进行内存分配和回收，从而影响性能。

为什么是慢慢增长

进程在申请内存的时候，不是直接分配物理内存，分配一块虚拟空间，等到堆真正使用这块虚拟空间才会发生缺页去分配物理内存

何时归还物理内存

不同垃圾收集器的物理内存归还机制不一样。目前我们使用的是JKD8 G1 JKD8 G1在经历一次Full GC后就会归还内存给操作系统 cms要经过多次full gc才可能把不用的内存归还给操作系统

我们看到的GC log可以看到没有一次full GC，所以暂时不会归还内存给操作系统

如何更准确监控内存使用

后续可以直接监控JVM的堆内内存使用，还有一些GC监控。单纯监控宿主机不一定能看到java应用实际的内存使用情况

相关推荐
攸攸太上11 分钟前
Spring Gateway学习
java·后端·学习·spring·微服务·gateway
罗曼蒂克在消亡27 分钟前
graphql--快速了解graphql特点
后端·graphql
潘多编程30 分钟前
Spring Boot与GraphQL：现代化API设计
spring boot·后端·graphql
大神薯条老师1 小时前
Python从入门到高手4.3节-掌握跳转控制语句
后端·爬虫·python·深度学习·机器学习·数据分析
2401_857622662 小时前
Spring Boot新闻推荐系统：性能优化策略
java·spring boot·后端
AskHarries2 小时前
如何优雅的处理NPE问题？
java·spring boot·后端
计算机学姐3 小时前
基于SpringBoot+Vue的高校运动会管理系统
java·vue.js·spring boot·后端·mysql·intellij-idea·mybatis
猿java4 小时前
Cookie和Session的区别
java·后端·面试
程序员陆通4 小时前
Spring Boot RESTful API开发教程
spring boot·后端·restful
无理 Java4 小时前
【技术详解】SpringMVC框架全面解析：从入门到精通(SpringMVC)
java·后端·spring·面试·mvc·框架·springmvc
热门推荐
01【经验分享】Ubuntu22.04安装微信(linux官方版)02安卓系列机型永久去除data分区加密 详细步骤解析032024年高教社杯数学建模国赛C题超详细解题思路分析04组基轨迹建模 GBTM的介绍与实现（Stata 或 R）05RAG 实践- Ollama+RagFlow 部署本地知识库06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07分享几个惊艳的 Three.js 个人站点08苍穹外卖面试总结09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文102024CCPC网络预选赛 I. 找行李 【DP】