记一次RocketMQ线上broker内存持续升高问题排查

小奏技术2023-11-25 20:58

RocketMQ 版本

  • 5.1.0

jdk版本

1.8

JVM启动参数

sh 复制代码 
-Xms46g -Xmx46g -XX:MetaspaceSize=1259m -XX:MaxMetaspaceSize=2517m -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0 -verbose:gc -Xloggc:/dev/shm/rmq_srv_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m -XX:-OmitStackTraceInFastThrow -XX:-UseLargePages

现象

部署RocketMQ的linux宿主机内存持续升高。由50%升高到80%

排查

线程资源占用情况

由于宿主机上面只部署了一个broker，所以我们不用具体定位那个进程占用太多内存，直捣黄龙，使用 top -Hp pid查看线程的资源占用情况

可以看到都是broker的线程，我们随便看一个线程的堆栈情况吧 就第一个29465吧

执行jmap -heap 29465

可以看到一个很明显的现象是OldSize实际占用只有5M。说明没占用什么内存

Jvm gc

既然这样看不出我们就简单看看这个broker的GC情况吧

执行jstat -gc -h10 29134 1000 200

复制代码 
S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   32768.0  0.0   32768.0 30359552.0 14827520.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 15695872.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 16498688.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 17219584.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 17989632.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 18743296.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 19546112.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 20283392.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 21069824.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 21856256.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   32768.0  0.0   32768.0 30359552.0 22626304.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 23511040.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 24379392.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 25116672.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 25886720.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 26836992.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 27787264.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 28672000.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   16384.0  0.0   16384.0 30375936.0 901120.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 1785856.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 2572288.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 3342336.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 4489216.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 5603328.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 6799360.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 7880704.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 8699904.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 9502720.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 10321920.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 11124736.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 11943936.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 12746752.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 13729792.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 14893056.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 16269312.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 17547264.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 18628608.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 19431424.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 20316160.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 21250048.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 22118400.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 23003136.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 23756800.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 24461312.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 25411584.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 26279936.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 27082752.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 27934720.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 28835840.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 1064960.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 1818624.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 2654208.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 3342336.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 4243456.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 5095424.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 6045696.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 6815744.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 7667712.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 8470528.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 9289728.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 10174464.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 11026432.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 11960320.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 12795904.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 13762560.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 14548992.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 15384576.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 16138240.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 17055744.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 18055168.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 18857984.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 19644416.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 20496384.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 21430272.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 22364160.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 23166976.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 24084480.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 24969216.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 25952256.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 26836992.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 27770880.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 28573696.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 589824.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 1425408.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 2326528.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 3112960.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 3981312.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 4915200.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 5849088.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 6733824.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530

初步计算一下OC和OU

  • OC：17842176 / 1024.0 / 1024.0 = 17G
  • OU: select 2761609.3 / 1024.0 / 1024.0 = 2.6G

说明老年代的可用内存是17G，实际仅仅使用了2.6G左右。

  • EC: 30375936.0 / 1024.0 / 1024.0 = 28.96875G
  • EU: 27770880.0 / 1024.0 / 1024.0 = 26.484375G

实际G1中的新生代和老年代都是逻辑概念，动态变化的，每个Region即可以是新生代，也可以是老年代。

实际的堆内内存是 29 + 17 = 46G,和我们设置的堆内内存对的上，老年代仅仅用了2.6G，剩余14G左右可用。

堆外内存我们设置的是5G，算下来我们实际使用的内存大小为: 5G + 29G +3G = 37G. 实际使用内存为57% 剩余内存为 64 - 37G = 27G

为什么宿主机的内存占用居高不下

在JVM启动时，通过-Xms参数设置的堆内存是直接分配给JVM的，这部分内存即使没有使用，也不会被JVM释放给操作系统。这是为了避免在应用运行过程中频繁的进行内存分配和回收，从而影响性能。

为什么是慢慢增长

进程在申请内存的时候，不是直接分配物理内存，分配一块虚拟空间，等到堆真正使用这块虚拟空间才会发生缺页去分配物理内存

何时归还物理内存

不同垃圾收集器的物理内存归还机制不一样。目前我们使用的是JKD8 G1 JKD8 G1在经历一次Full GC后就会归还内存给操作系统 cms要经过多次full gc才可能把不用的内存归还给操作系统

我们看到的GC log可以看到没有一次full GC，所以暂时不会归还内存给操作系统

如何更准确监控内存使用

后续可以直接监控JVM的堆内内存使用，还有一些GC监控。单纯监控宿主机不一定能看到java应用实际的内存使用情况

相关推荐
菜鸟小九20 分钟前
SSM（MybatisPlus）
java·开发语言·spring boot·后端
不爱编程的小九九22 分钟前
小九源码-springboot051-智能推荐旅游平台
java·spring boot·后端
数据知道23 分钟前
Go基础：常用数学函数处理（主要是math包rand包的处理）
开发语言·后端·golang·go语言
期待のcode35 分钟前
MyBatis框架—延迟加载与多级缓存
java·数据库·后端·缓存·mybatis
数据知道41 分钟前
Go基础：文件与文件夹操作详解
开发语言·后端·golang·go语言
华仔啊1 小时前
Spring 配置混乱？搞懂这两个核心组件，问题真能少一半
java·后端·spring
喂完待续1 小时前
【序列晋升】45 Spring Data Elasticsearch 实战：3 个核心方案破解索引管理与复杂查询痛点，告别低效开发
java·后端·spring·big data·spring data·序列晋升
forever銳1 小时前
java中如何保证接口幂等性
java·后端
IT_陈寒1 小时前
告别低效！用这5个Python技巧让你的数据处理速度提升300% 🚀
前端·人工智能·后端
程序员NEO1 小时前
B站油管抖音一键笔记
后端
热门推荐
01Multisim使用教程详尽版--(2025最新版)02UV 工具安装与国内镜像源配置指南03GitHub 镜像站点04UV安装并设置国内源0546个Nano-banana 精选提示词，持续更新中06Spec-Kit 使用指南07VsCode远程Copilot无法使用Claude Agent问题08KGG转MP3工具|非KGM文件|解密音频09保姆级教程：手把手教你用Dify实现完美多轮对话（附Chatflow和提示词）10Linux下V2Ray安装配置指南