记一次RocketMQ线上broker内存持续升高问题排查

小奏技术2023-11-25 20:58

RocketMQ 版本

  • 5.1.0

jdk版本

1.8

JVM启动参数

sh 复制代码 
-Xms46g -Xmx46g -XX:MetaspaceSize=1259m -XX:MaxMetaspaceSize=2517m -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0 -verbose:gc -Xloggc:/dev/shm/rmq_srv_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m -XX:-OmitStackTraceInFastThrow -XX:-UseLargePages

现象

部署RocketMQ的linux宿主机内存持续升高。由50%升高到80%

排查

线程资源占用情况

由于宿主机上面只部署了一个broker，所以我们不用具体定位那个进程占用太多内存，直捣黄龙，使用 top -Hp pid查看线程的资源占用情况

可以看到都是broker的线程，我们随便看一个线程的堆栈情况吧 就第一个29465吧

执行jmap -heap 29465

可以看到一个很明显的现象是OldSize实际占用只有5M。说明没占用什么内存

Jvm gc

既然这样看不出我们就简单看看这个broker的GC情况吧

执行jstat -gc -h10 29134 1000 200

复制代码 
S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   32768.0  0.0   32768.0 30359552.0 14827520.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 15695872.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 16498688.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 17219584.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 17989632.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 18743296.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 19546112.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 20283392.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 21069824.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 21856256.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   32768.0  0.0   32768.0 30359552.0 22626304.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 23511040.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 24379392.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 25116672.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 25886720.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 26836992.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 27787264.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   32768.0  0.0   32768.0 30359552.0 28672000.0 17842176.0 2749227.7  59648.0 56620.6  0.0    0.0    76844  666.504   0      0.000  666.504
 0.0   16384.0  0.0   16384.0 30375936.0 901120.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 1785856.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 2572288.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 3342336.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 4489216.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 5603328.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 6799360.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 7880704.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 8699904.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 9502720.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 10321920.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 11124736.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 11943936.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 12746752.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 13729792.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 14893056.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 16269312.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 17547264.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 18628608.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 19431424.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 20316160.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 21250048.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 22118400.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 23003136.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 23756800.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 24461312.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 25411584.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 26279936.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 27082752.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 27934720.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 28835840.0 17842176.0 2760207.3  59648.0 56620.6  0.0    0.0    76845  666.513   0      0.000  666.513
 0.0   16384.0  0.0   16384.0 30375936.0 1064960.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 1818624.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 2654208.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 3342336.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 4243456.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 5095424.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 6045696.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 6815744.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 7667712.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 8470528.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 9289728.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 10174464.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 11026432.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 11960320.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 12795904.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 13762560.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 14548992.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 15384576.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 16138240.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 17055744.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 18055168.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 18857984.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 19644416.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 20496384.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 21430272.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 22364160.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 23166976.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 24084480.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 24969216.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 25952256.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 26836992.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   16384.0  0.0   16384.0 30375936.0 27770880.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 28573696.0 17842176.0 2761609.3  59648.0 56620.6  0.0    0.0    76846  666.522   0      0.000  666.522
 0.0   16384.0  0.0   16384.0 30375936.0 589824.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 1425408.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 2326528.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 3112960.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 3981312.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 4915200.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 5849088.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530
 0.0   16384.0  0.0   16384.0 30375936.0 6733824.0 17842176.0 2760662.3  59648.0 56620.6  0.0    0.0    76847  666.530   0      0.000  666.530

初步计算一下OC和OU

  • OC：17842176 / 1024.0 / 1024.0 = 17G
  • OU: select 2761609.3 / 1024.0 / 1024.0 = 2.6G

说明老年代的可用内存是17G，实际仅仅使用了2.6G左右。

  • EC: 30375936.0 / 1024.0 / 1024.0 = 28.96875G
  • EU: 27770880.0 / 1024.0 / 1024.0 = 26.484375G

实际G1中的新生代和老年代都是逻辑概念，动态变化的，每个Region即可以是新生代，也可以是老年代。

实际的堆内内存是 29 + 17 = 46G,和我们设置的堆内内存对的上，老年代仅仅用了2.6G，剩余14G左右可用。

堆外内存我们设置的是5G，算下来我们实际使用的内存大小为: 5G + 29G +3G = 37G. 实际使用内存为57% 剩余内存为 64 - 37G = 27G

为什么宿主机的内存占用居高不下

在JVM启动时，通过-Xms参数设置的堆内存是直接分配给JVM的，这部分内存即使没有使用，也不会被JVM释放给操作系统。这是为了避免在应用运行过程中频繁的进行内存分配和回收，从而影响性能。

为什么是慢慢增长

进程在申请内存的时候，不是直接分配物理内存，分配一块虚拟空间，等到堆真正使用这块虚拟空间才会发生缺页去分配物理内存

何时归还物理内存

不同垃圾收集器的物理内存归还机制不一样。目前我们使用的是JKD8 G1 JKD8 G1在经历一次Full GC后就会归还内存给操作系统 cms要经过多次full gc才可能把不用的内存归还给操作系统

我们看到的GC log可以看到没有一次full GC，所以暂时不会归还内存给操作系统

如何更准确监控内存使用

后续可以直接监控JVM的堆内内存使用，还有一些GC监控。单纯监控宿主机不一定能看到java应用实际的内存使用情况

相关推荐
why1516 小时前
微服务商城-商品微服务
数据库·后端·golang
結城8 小时前
mybatisX的使用，简化springboot的开发，不用再写entity、mapper以及service了！
java·spring boot·后端
星辰离彬8 小时前
Java 与 MySQL 性能优化：MySQL 慢 SQL 诊断与分析方法详解
java·spring boot·后端·sql·mysql·性能优化
q_19132846958 小时前
基于Springboot+Vue的办公管理系统
java·vue.js·spring boot·后端·intellij idea
陪我一起学编程9 小时前
关于nvm与node.js
vue.js·后端·npm·node.js
舒一笑10 小时前
基于KubeSphere平台快速搭建单节点向量数据库Milvus
后端
JavaBuild10 小时前
时隔半年，拾笔分享：来自一个大龄程序员的迷茫自问
后端·程序员·创业
一只叫煤球的猫11 小时前
虚拟线程生产事故复盘：警惕高性能背后的陷阱
java·后端·性能优化
周杰伦fans12 小时前
C#中用于控制自定义特性（Attribute）
后端·c#
Livingbody12 小时前
GitHub小管家Trae智能体介绍
后端
热门推荐
01Coze扣子平台完整体验和实践（附国内和国际版对比）02【图像处理与机器视觉】XJTU期末考点03KGG转MP3工具|非KGM文件|解密音频04零代码入门 | Coze——让大模型接入自己的数据库05从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑06YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】07DeepSeek各版本说明与优缺点分析08海康Visionmaster-常见问题排查方法-启动阶段09【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！1020分钟拿下字节Coze工作流搭建全部知识点，保姆级小白教学干货密集