一次多线程改造实践:基于ExecutorService + CompletionService的并发处理优化

一次多线程改造实践:基于ExecutorService + CompletionService的并发处理优化

📄 背景与业务场景

在企业业务系统中,我们经常需要对一批独立任务进行重复性的处理,例如:

  • 为多个合同生成应收账单
  • 对多个客户批量发送通知
  • 针对多租户并行初始化资源

这类任务具备天然的并行性,即任务之间互不影响、处理逻辑相同,完全可以使用多线程优化执行效率。

本文以"为多个合同生成应收单"为例,记录一次从串行到并发的多线程改造实践 ,并重点介绍 ExecutorService + CompletionService 的使用方式。

📆 需求分析

原始功能需求:

  • 输入为若干合同ID(可为全部合同或指定ID集合)
  • 对每一个合同执行账单生成逻辑
  • 聚合返回所有生成成功的应收单ID列表
  • 该接口为前端"提交并审批"流程的一部分,必须同步返回处理结果

技术限制与期望:

  • 合同数量多时串行处理耗时较长,需提升处理效率
  • 合同任务之间互不依赖,可并行
  • 需要对失败任务记录日志
  • 并发线程数应可控,防止系统资源占满

📈 原始串行代码(伪代码)

ini 复制代码
List<Long> resultIds = new ArrayList<>();
for (Long contractId : contractIds) {
    Contract contract = contractService.getContract(contractId);
    if (contract == null) throw new RuntimeException("Contract not found");
​
    Map<Long, Bill> bills = billService.generate(contract);
    for (Bill bill : bills.values()) {
        Long billId = billRepository.save(bill);
        resultIds.add(billId);
    }
}
return resultIds;

问题:

  • 完全串行,处理效率低
  • 合同处理耗时不均,无法优化瓶颈

🛠️ 改造方案:使用线程池并发处理合同任务

1. 技术选型

  • ExecutorService:线程池统一管理线程资源,避免频繁创建销毁线程
  • CompletionService:结合线程池管理任务提交 + 异步结果获取,支持按完成顺序返回结果,便于聚合处理

2. 改造目标

  • 将每一个合同处理逻辑封装为 Callable<List<Long>>
  • 提交至线程池统一调度执行
  • 主线程收集 Future 返回结果并聚合
  • 控制最大并发线程数,保证系统安全

📃 改造后关键代码

ini 复制代码
int threadCount = Math.min(10, contractIds.size());
ExecutorService executor = Executors.newFixedThreadPool(threadCount);
CompletionService<List<Long>> completionService = new ExecutorCompletionService<>(executor);
​
// 提交任务
for (Long contractId : contractIds) {
    completionService.submit(() -> {
        Contract contract = contractService.getContract(contractId);
        if (contract == null) throw new RuntimeException("Contract missing");
​
        Map<Long, Bill> billMap = billService.generate(contract);
        List<Long> billIds = new ArrayList<>();
        for (Bill bill : billMap.values()) {
            Long billId = billRepository.save(bill);
            billIds.add(billId);
        }
        return billIds;
    });
}
​
// 收集结果
List<Long> allBillIds = new ArrayList<>();
for (int i = 0; i < contractIds.size(); i++) {
    try {
        Future<List<Long>> future = completionService.take(); // 阻塞直到有结果
        allBillIds.addAll(future.get());
    } catch (Exception e) {
        log.error("Task failed", e);
        // 可选:记录失败ID、重试等
    }
}
​
executor.shutdown();

📖 ExecutorService + CompletionService 原理解析

ExecutorService

  • Java 提供的线程池框架接口,常用实现如:

    • Executors.newFixedThreadPool(n) 固定线程数
    • ThreadPoolExecutor 自定义线程池参数
  • 管理线程的生命周期与复用,提高性能

CompletionService

  • 接口:java.util.concurrent.CompletionService
  • 实现类:ExecutorCompletionService
  • 优点:按任务完成顺序获取结果,而非提交顺序

流程:

  1. submit(Callable):提交任务到线程池
  2. take() / poll():获取已完成任务的 Future
  3. get():获取具体结果或异常

这种模式避免了遍历所有 Future 检查状态,提高聚合效率

🎡 使用建议与扩展

✅ 使用建议

  • 并发任务需满足线程安全、无共享状态
  • 线程池应设置合理核心线程数、队列大小与拒绝策略
  • 对于大量任务建议配合限流器如 Semaphore

📄 场景拓展

  • 批量导入 / 导出数据
  • 大文件分段处理
  • 对多个接口异步调用并合并结果(如聚合查询)

📝 总结

通过使用 ExecutorService + CompletionService 对串行任务进行并发改造,能够在保证业务正确性的前提下大幅提升处理效率 ,尤其适合独立、重复、大量的任务场景。

本次实践中,改造后的实现满足了:

  • 前端同步获取结果的业务需求
  • 可控的并发处理与资源使用
  • 良好的异常处理与日志记录

是一种在生产环境下非常推荐的并发模式。

相关推荐
midsummer_woo1 小时前
基于spring boot的医院挂号就诊系统(源码+论文)
java·spring boot·后端
Olrookie2 小时前
若依前后端分离版学习笔记(三)——表结构介绍
笔记·后端·mysql
沸腾_罗强2 小时前
Bugs
后端
一条GO2 小时前
ORM中实现SaaS的数据与库的隔离
后端
京茶吉鹿2 小时前
"if else" 堆成山?这招让你的代码优雅起飞!
java·后端
长安不见2 小时前
从 NPE 到高内聚:Spring 构造器注入的真正价值
后端
你我约定有三2 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby
程序视点3 小时前
望言OCR 2025终极评测:免费版VS专业版全方位对比(含免费下载)
前端·后端·github
rannn_1113 小时前
Java学习|黑马笔记|Day23】网络编程、反射、动态代理
java·笔记·后端·学习
一杯科技拿铁3 小时前
Go 的时间包:理解单调时间与挂钟时间
开发语言·后端·golang