java多线程内存回收探索

冰上浮云2023-11-12 13:17

背景

最近项目上遇到个问题，采用多线程处理的时候发现子线程内部处理不够快，主线程生产子线程需要处理的批次数据，主线程生产数据快，导致主线程产生的数据得不到子线程及时处理，内存快速被撑爆，触发fullgc，又导致大量cpu被用于处理gc，子线程处理起来更慢了，原来1秒处理一批次，到后来10分钟处理一批次。

探索

写个测试代码复现一下，顺便也验证一下子线程处理完成后，被子线程占有的需要处理的数据对象会自动被jvm垃圾收集器自动回收，内存不会持续暴涨。

验证点1

子线程处理完成后，持有的需要处理的数据对象会被jvm自动回收。

验证点2

子线程处理慢，处理速度小于主线程产生数据的速度，内存积压，内存持续上涨，最终把内存干满，频繁触发fullgc，子线程处理速度持续降低，持续恶化。

模拟方式，子线程休眠1s后处理。

验证点3

子线程处理慢，处理速度小于主线程产生数据的速度，启用反压机制，等待子线程一批次处理完成后，主线程再继续产生数据，进入下一批次处理，已经处理完成的数据对象jvm会自行回收，新产生的数据对象能够得到处理，不会持续积压。

java 复制代码

Future future = thd4c(list1);
list1 = new ArrayList<>();
futureList.add(future);

if (futureList.size() >= maxPoolSize) {
    for (Future fr : futureList) {
        try {
            fr.get();//同步等待子线程处理完成
        } catch (Exception e) {
            logger.warn("future get error ,", e);
        }
    }
    logger.info("batch exec num: {}", ++batchNum);
}

解决方案

开多线程处理的时候，等待当前批次的几个线程处理完成，当前批次的几个子线程处理完成后再继续生产下一批次需要处理的线程，避免子线程处理不及时的时候，在内存堆积大量需要处理的数据。