记一次处理大数据而导致的内存溢出问题

问题

订单服务通过MQ进行订单同步时,刚启动可以正常消费,但是跑一会就会卡住,每次都是第8个kafka分区不行再进行消费,其他分区消费的很慢。

现象

  1. 首先,CPU超高,达到百分之300多;
  2. 其次,kafka消息消费很慢,尤其是第八个分区

分析

  1. 由于CPU告警,首先想到JVM内存溢出了,所以先jstack出内存快照,定位导致内存溢出的代码或者可能的原因,大致过程:
    1. 使用top查看系统的资源占用情况
    2. 使用ps命令查看进程对应的是哪个程序
    3. 使用top -p [PID] -H 观察该进程中所有线程的资源占用
    4. 使用jstack查看线程快照
    5. 定位出现的问题
    参考地址

  2. 导出内存快照,放到MAT上进行分析,定位到是一个static方法,内存溢出了

    但是代码逻辑没有问题,所以一时间没有找到问题。

  3. 鉴于上面没有分析出来结果,又从GC日志中找结果:

    发现频繁的 Young GC,都是失败的。到这里还是没有很好的思路,后来通过打印日志,确认到了一个订单只有70多万个商品,再处理商品的逻辑中又使用了多层for循环进行处理,导致栈内存溢出。

结论

大数据导致内存溢出,在这个大数据处理逻辑中存在不合理代码,所以导致了内存溢出。

在排查的过程中,我们还升高了metaspace的内存,但是还是瞬间被占用满,导致CPU飙升到百分之800左右。一味堆配置并不能一劳永逸的解决问题。

工具

  1. MAT 进行内存分析
  2. gceasy进行GC日志分析

参考

java程序CPU使用率高可能的原因

Mat使用详解

内存快照两种方式

  • jmap 进行快照导出
java 复制代码
输出快照
jmap -dump:format=b,file=/usr/local test1.hprof 2778
  • 第二种,直接通过jstack进行查看(先top -h 进程ID - H,查询出线程ID,再转为十六进制的,进而执行下面的命令)
java 复制代码
jstack 5739 | grep -A 100 nid=0x1802

材料

gc log

相关推荐
万米商云37 分钟前
企业物资集采平台解决方案:跨地域、多仓库、百部门——大型企业如何用一套系统管好百万级物资?
大数据·运维·人工智能
BigData共享44 分钟前
极致性能背后的黑科技?这个世上没有“银弹”!(三)
大数据
阿里云大数据AI技术1 小时前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·人工智能·flink
hardStudy_h1 小时前
C++——内联函数与Lambda表达式
开发语言·jvm·c++
y_y_liang1 小时前
图生生AI商品换背景,高效商拍!
大数据·人工智能·ai·ai作画
王小王-1231 小时前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
沐尘而生1 小时前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐
贝格前端工场2 小时前
小程序订阅消息设计:用户触达与隐私保护的平衡法则
大数据·小程序
成都极云科技3 小时前
成都算力租赁新趋势:H20 八卡服务器如何重塑 AI 产业格局?
大数据·服务器·人工智能·云计算·gpu算力
典学长编程4 小时前
高效学习之一篇搞定分布式管理系统Git !
大数据·git·搜索引擎