记一次处理大数据而导致的内存溢出问题

问题

订单服务通过MQ进行订单同步时,刚启动可以正常消费,但是跑一会就会卡住,每次都是第8个kafka分区不行再进行消费,其他分区消费的很慢。

现象

  1. 首先,CPU超高,达到百分之300多;
  2. 其次,kafka消息消费很慢,尤其是第八个分区

分析

  1. 由于CPU告警,首先想到JVM内存溢出了,所以先jstack出内存快照,定位导致内存溢出的代码或者可能的原因,大致过程:
    1. 使用top查看系统的资源占用情况
    2. 使用ps命令查看进程对应的是哪个程序
    3. 使用top -p [PID] -H 观察该进程中所有线程的资源占用
    4. 使用jstack查看线程快照
    5. 定位出现的问题
    参考地址

  2. 导出内存快照,放到MAT上进行分析,定位到是一个static方法,内存溢出了

    但是代码逻辑没有问题,所以一时间没有找到问题。

  3. 鉴于上面没有分析出来结果,又从GC日志中找结果:

    发现频繁的 Young GC,都是失败的。到这里还是没有很好的思路,后来通过打印日志,确认到了一个订单只有70多万个商品,再处理商品的逻辑中又使用了多层for循环进行处理,导致栈内存溢出。

结论

大数据导致内存溢出,在这个大数据处理逻辑中存在不合理代码,所以导致了内存溢出。

在排查的过程中,我们还升高了metaspace的内存,但是还是瞬间被占用满,导致CPU飙升到百分之800左右。一味堆配置并不能一劳永逸的解决问题。

工具

  1. MAT 进行内存分析
  2. gceasy进行GC日志分析

参考

java程序CPU使用率高可能的原因

Mat使用详解

内存快照两种方式

  • jmap 进行快照导出
java 复制代码
输出快照
jmap -dump:format=b,file=/usr/local test1.hprof 2778
  • 第二种,直接通过jstack进行查看(先top -h 进程ID - H,查询出线程ID,再转为十六进制的,进而执行下面的命令)
java 复制代码
jstack 5739 | grep -A 100 nid=0x1802

材料

gc log

相关推荐
学术小八1 小时前
第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·云计算
求职小程序华东同舟求职2 小时前
龙旗科技社招校招入职测评25年北森笔试测评题库答题攻略
大数据·人工智能·科技
二二孚日2 小时前
自用华为ICT云赛道Big Data第六章知识点-分布式搜索服务ElasticSearch
大数据·华为
武子康6 小时前
大数据-34 HBase 单节点配置 hbase-env hbase-site xml
大数据·后端·hbase
Edingbrugh.南空6 小时前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
huisheng_qaq6 小时前
【ElasticSearch实用篇-01】需求分析和数据制造
大数据·elasticsearch·制造
G.E.N.7 小时前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
勤奋的知更鸟7 小时前
Kettle + 大数据实战:从数据采集到分布式处理的完整流程指南
大数据·分布式
鸭鸭鸭进京赶烤15 小时前
大学专业科普 | 云计算、大数据
大数据·云计算
G皮T19 小时前
【Elasticsearch】自定义评分检索
大数据·elasticsearch·搜索引擎·查询·检索·自定义评分·_score