java项目假死问题排查

项目问题

最近在开发一个监听服务的应用,需要用多个线程去获取服务提供方提供的消息,这个服务部署四天后就开始假死了,项目进程还在,但是没有日志输出。

问题排查

  1. 首先先排查服务器的各种资源,发现这些都正常。

free -h 查看服务器的内存

df -h 查看服务器的存储空间

top -H 查看cpu占用

  1. 排查网络状态,发现也正常 netstat -anp | grep <pid> 是否存在大量等待的网络请求

  2. 这些都没问题的话,那就需要去看下jvm的信息了

jstat -gcutil <pid> 1000 10 jstat 是 JDK 自带的强大工具,用于监控 JVM 内存使用和垃圾回收情况。检查发现老年代已经达到了100%。

到此问题已经很明确了,

复制代码
  S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     GCT  
0.00  99.86  99.99 100.00  94.87  92.54    992    0.289 235943 28620.620 28620.910
  1. ​老年代(O)持续100%​​:

    • 老年代空间完全耗尽
    • JVM 无法分配任何新对象到老年代
    • 导致所有内存请求失败
  2. ​年轻代完全阻塞​​:

    • Eden区(E)持续99.99%满
    • Survivor区(S1)持续99.86%
    • Young GC(YGC=992)完全停滞(连续多次无变化)
    • 对象晋升机制完全失效

问题解决

定位到问题后,就需要排查解决了 jmap -dump:format=b,file=heapdump.hprof <PID> 通过jmap将堆栈信息导出来,并通过​​Eclipse MAT​来进行分析(比较建议使用这个工具),他会告诉你xx实例占用了xxxxbyte,通过这个提示直接去排查相应的代码逻辑即可。

最后发现项目连接服务提供方获取消息失败三次后,连接会自动断开,每次断开重连都会创建新的连接对象,而旧的连接对象虽然做了关闭处理,但是可能仍在活跃,导致gc无法进行回收,连续多天创建对象导致老年代打满。

相关推荐
xzkyd outpaper14 小时前
JVM、Dalvik、ART垃圾回收机制
jvm·dalvik
淮北枳丶15 小时前
Java常用命令、JVM常用命令
java·开发语言·jvm
thginWalker15 小时前
Java JVM
java·jvm
鼠鼠我捏,要死了捏16 小时前
深入解析JVM垃圾回收调优:性能优化实践指南
java·jvm·gc
℡余晖^1 天前
每日面试题14:CMS与G1垃圾回收器的区别
java·jvm·算法
清秀咸鱼2 天前
个人笔记抽象类
java·jvm·spring
不想写bug呀2 天前
垃圾回收介绍
java·jvm·垃圾回收
℡余晖^2 天前
每日面试题13:垃圾回收器什么时候STW?
java·jvm
最后的自由3 天前
NUMA(Non-Uniform Memory Access,非一致内存访问)
jvm
xzkyd outpaper3 天前
JVM垃圾回收器
java·开发语言·jvm