java多线程内存回收探索

背景

最近项目上遇到个问题,采用多线程处理的时候发现子线程内部处理不够快,主线程生产子线程需要处理的批次数据,主线程生产数据快,导致主线程产生的数据得不到子线程及时处理,内存快速被撑爆,触发fullgc,又导致大量cpu被用于处理gc,子线程处理起来更慢了,原来1秒处理一批次,到后来10分钟处理一批次。

探索

写个测试代码复现一下,顺便也验证一下子线程处理完成后,被子线程占有的需要处理的数据对象会自动被jvm垃圾收集器 自动回收,内存不会持续暴涨。

验证点1

子线程处理完成后,持有的需要处理的数据对象会被jvm自动回收。

验证点2

子线程处理慢,处理速度小于主线程产生数据的速度,内存积压,内存持续上涨,最终把内存干满,频繁触发fullgc,子线程处理速度持续降低,持续恶化。

模拟方式,子线程休眠1s后处理。

验证点3

子线程处理慢,处理速度小于主线程产生数据的速度,启用反压机制,等待子线程一批次处理完成后,主线程再继续产生数据,进入下一批次处理,已经处理完成的数据对象jvm会自行回收,新产生的数据对象能够得到处理,不会持续积压。

java 复制代码
Future future = thd4c(list1);
list1 = new ArrayList<>();
futureList.add(future);

if (futureList.size() >= maxPoolSize) {
    for (Future fr : futureList) {
        try {
            fr.get();//同步等待子线程处理完成
        } catch (Exception e) {
            logger.warn("future get error ,", e);
        }
    }
    logger.info("batch exec num: {}", ++batchNum);
}

解决方案

开多线程处理的时候,等待当前批次的几个线程处理完成,当前批次的几个子线程处理完成后再继续生产下一批次需要处理的线程,避免子线程处理不及时的时候,在内存堆积大量需要处理的数据。

相关推荐
以后不吃煲仔饭10 分钟前
Java基础夯实——2.7 线程上下文切换
java·开发语言
进阶的架构师11 分钟前
2024年Java面试题及答案整理(1000+面试题附答案解析)
java·开发语言
学点东西吧.12 分钟前
JVM(五、垃圾回收器)
jvm
前端拾光者15 分钟前
利用D3.js实现数据可视化的简单示例
开发语言·javascript·信息可视化
The_Ticker16 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
程序猿阿伟16 分钟前
《C++ 实现区块链:区块时间戳的存储与验证机制解析》
开发语言·c++·区块链
傻啦嘿哟34 分钟前
如何使用 Python 开发一个简单的文本数据转换为 Excel 工具
开发语言·python·excel
大数据编程之光38 分钟前
Flink Standalone集群模式安装部署全攻略
java·大数据·开发语言·面试·flink
初九之潜龙勿用39 分钟前
C#校验画布签名图片是否为空白
开发语言·ui·c#·.net
爪哇学长1 小时前
双指针算法详解:原理、应用场景及代码示例
java·数据结构·算法