java多线程内存回收探索

背景

最近项目上遇到个问题,采用多线程处理的时候发现子线程内部处理不够快,主线程生产子线程需要处理的批次数据,主线程生产数据快,导致主线程产生的数据得不到子线程及时处理,内存快速被撑爆,触发fullgc,又导致大量cpu被用于处理gc,子线程处理起来更慢了,原来1秒处理一批次,到后来10分钟处理一批次。

探索

写个测试代码复现一下,顺便也验证一下子线程处理完成后,被子线程占有的需要处理的数据对象会自动被jvm垃圾收集器 自动回收,内存不会持续暴涨。

验证点1

子线程处理完成后,持有的需要处理的数据对象会被jvm自动回收。

验证点2

子线程处理慢,处理速度小于主线程产生数据的速度,内存积压,内存持续上涨,最终把内存干满,频繁触发fullgc,子线程处理速度持续降低,持续恶化。

模拟方式,子线程休眠1s后处理。

验证点3

子线程处理慢,处理速度小于主线程产生数据的速度,启用反压机制,等待子线程一批次处理完成后,主线程再继续产生数据,进入下一批次处理,已经处理完成的数据对象jvm会自行回收,新产生的数据对象能够得到处理,不会持续积压。

java 复制代码
Future future = thd4c(list1);
list1 = new ArrayList<>();
futureList.add(future);

if (futureList.size() >= maxPoolSize) {
    for (Future fr : futureList) {
        try {
            fr.get();//同步等待子线程处理完成
        } catch (Exception e) {
            logger.warn("future get error ,", e);
        }
    }
    logger.info("batch exec num: {}", ++batchNum);
}

解决方案

开多线程处理的时候,等待当前批次的几个线程处理完成,当前批次的几个子线程处理完成后再继续生产下一批次需要处理的线程,避免子线程处理不及时的时候,在内存堆积大量需要处理的数据。

相关推荐
XiaoLeisj2 小时前
【JavaEE初阶 — 多线程】单例模式 & 指令重排序问题
java·开发语言·java-ee
paopaokaka_luck2 小时前
【360】基于springboot的志愿服务管理系统
java·spring boot·后端·spring·毕业设计
dayouziei2 小时前
java的类加载机制的学习
java·学习
励志成为嵌入式工程师3 小时前
c语言简单编程练习9
c语言·开发语言·算法·vim
捕鲸叉3 小时前
创建线程时传递参数给线程
开发语言·c++·算法
A charmer3 小时前
【C++】vector 类深度解析:探索动态数组的奥秘
开发语言·c++·算法
Peter_chq3 小时前
【操作系统】基于环形队列的生产消费模型
linux·c语言·开发语言·c++·后端
Yaml44 小时前
Spring Boot 与 Vue 共筑二手书籍交易卓越平台
java·spring boot·后端·mysql·spring·vue·二手书籍
小小小妮子~4 小时前
Spring Boot详解:从入门到精通
java·spring boot·后端
hong1616884 小时前
Spring Boot中实现多数据源连接和切换的方案
java·spring boot·后端