java多线程内存回收探索

背景

最近项目上遇到个问题,采用多线程处理的时候发现子线程内部处理不够快,主线程生产子线程需要处理的批次数据,主线程生产数据快,导致主线程产生的数据得不到子线程及时处理,内存快速被撑爆,触发fullgc,又导致大量cpu被用于处理gc,子线程处理起来更慢了,原来1秒处理一批次,到后来10分钟处理一批次。

探索

写个测试代码复现一下,顺便也验证一下子线程处理完成后,被子线程占有的需要处理的数据对象会自动被jvm垃圾收集器 自动回收,内存不会持续暴涨。

验证点1

子线程处理完成后,持有的需要处理的数据对象会被jvm自动回收。

验证点2

子线程处理慢,处理速度小于主线程产生数据的速度,内存积压,内存持续上涨,最终把内存干满,频繁触发fullgc,子线程处理速度持续降低,持续恶化。

模拟方式,子线程休眠1s后处理。

验证点3

子线程处理慢,处理速度小于主线程产生数据的速度,启用反压机制,等待子线程一批次处理完成后,主线程再继续产生数据,进入下一批次处理,已经处理完成的数据对象jvm会自行回收,新产生的数据对象能够得到处理,不会持续积压。

java 复制代码
Future future = thd4c(list1);
list1 = new ArrayList<>();
futureList.add(future);

if (futureList.size() >= maxPoolSize) {
    for (Future fr : futureList) {
        try {
            fr.get();//同步等待子线程处理完成
        } catch (Exception e) {
            logger.warn("future get error ,", e);
        }
    }
    logger.info("batch exec num: {}", ++batchNum);
}

解决方案

开多线程处理的时候,等待当前批次的几个线程处理完成,当前批次的几个子线程处理完成后再继续生产下一批次需要处理的线程,避免子线程处理不及时的时候,在内存堆积大量需要处理的数据。

相关推荐
不会吃萝卜的兔子14 分钟前
go webrtc - 1 go基本概念
开发语言·golang·webrtc
要做朋鱼燕37 分钟前
【C++】 priority_queue 容器模拟实现解析
开发语言·c++·笔记·职场和发展
ST.J40 分钟前
swing笔记
java·笔记
jiaway42 分钟前
【C语言】第四课 指针与内存管理
c语言·开发语言·算法
励志不掉头发的内向程序员43 分钟前
C++进阶——继承 (1)
开发语言·c++·学习
菩提树下的凡夫1 小时前
瑞芯微RV1126目标识别算法Yolov8的部署应用
java·算法·yolo
爱隐身的官人1 小时前
新后端漏洞(上)- Java RMI Registry反序列化漏洞
java·反序列化漏洞
叫我阿柒啊1 小时前
从Java全栈到前端框架:一次真实的面试对话与技术解析
java·javascript·typescript·vue·springboot·react·前端开发
晚安里1 小时前
Spring 框架(IoC、AOP、Spring Boot) 的必会知识点汇总
java·spring boot·spring
爱隐身的官人1 小时前
新后端漏洞(上)- Aapache Tomcat AJP 文件包含漏洞(CVE-2020-1938)
java·tomcat·ajp