【项目亮点】基于EasyExcel + 线程池解决POI文件导出时的内存溢出及超时问题

目录

一、背景

二、技术选型

三、具体实现


一、背景

在一个后台管理功能中,需要导出 Excel,但是当处理大数据量的 Excel 文件导出时,常用的 Apache POI 库可能因其内存占用较高而导致内存溢出问题。同时,数据处理过程可能非常耗时,导致用户等待时间过长或请求超时。为解决这些问题,采用了基于 EasyExcel 和线程池的解决方案。

二、技术选型

Excel 的导出有很多种方案,包括了 POI、EasyExcel 还有 Hutool 中也有类似的功能。在市面上,用得最多的还是 POI 和 EasyExcel,而在处理大文件这方面,EasyExcel 更加适合一些。

在文件导出过程中,用异步的方式进行,用户不需要在页面一直等待。异步文件生成之后,把文件上传到云存储中,再通知用户去下载即可。

这里云存储选择阿里云的 OSS,线程池异步处理采用 @Async。

用户通知这里就是用 Spring Mail 进行邮件发送即可。

三、具体实现

入口是一个 Controller,主要接收用户的文件导出请求。

这里做了一些简化,比如筛选条件、以及具体的获取数据部分我都省略了,大家可以根据自己的业务情况来实现。

java 复制代码
@RestController
@RequestMapping("/export")
public class DataExportController {

    @Autowired
    private ExcelExportService exportService;

    @GetMapping("/data")
    public ResponseEntity<String> exportData() {
        List<DataModel> data = fetchData();
        String fileUrl = exportService.exportDataAsync(data);

        return ResponseEntity.ok("导出任务开始,文件生成后会通知您下载链接");
    }

    private List<DataModel> fetchData() {
        // 获取需要导出的数据
        return null; // 省略具体实现
    }
}

下面是导出服务的具体实现:

java 复制代码
@Service
public class ExcelExportService {

    @Async("exportExecutor")
    public String exportDataAsync(List<DataModel> data) {
        // 生成 Excel 文件并获取 InputStream
        InputStream fileContent = generateExcelFile(data);
        String fileName = "data_" + System.currentTimeMillis() + ".xlsx";

        // 上传到 OSS
        String fileUrl = ossService.uploadFile(fileName, fileContent);

        // 发送邮件通知
        emailService.sendEmail(data.getUserEmail(), "文件导出通知", "您的文件已导出,下载链接:");

        return fileUrl;
    }

    private InputStream generateExcelFile(List<DataModel> data) {
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
        try {
            // 使用 EasyExcel 写入数据到输出流
            ExcelWriterBuilder writerBuilder = EasyExcel.write(outputStream, DataModel.class);
            writerBuilder.sheet("Data").doWrite(data);
        } catch (Exception e) {
            // 处理异常(如日志记录、抛出自定义异常等)
            e.printStackTrace(); // 实际项目中建议使用 logger
        }
        // 将字节数组转换为 InputStream 返回
        return new ByteArrayInputStream(outputStream.toByteArray());
    }

    // DataModel 类定义
    public static class DataModel {
        // 省略参数及 setter/getter 方法
        // 示例:
        // private String name;
        // private String email;
        //
        // getter 和 setter 方法...
    }
}

这里面用到了 @Async 来实现一个异步处理,这里主要干了三件事:

  • 使用 EasyExcel 生成文件
  • OSS 上传生成后的文件
  • 给用户发邮件通知下载地址

这里为了用到真正的线程池,制定了一个自定义的 exportExecutor,实现如下:

java 复制代码
@Configuration
@EnableAsync
public class AsyncExecutorConfig {

    @Bean("exportExecutor")
    public Executor exportExecutor() {
        ThreadFactory namedThreadFactory = new ThreadFactoryBuilder()
                .setNameFormat("registerSuccessExecutor-%d").build();

        ExecutorService executorService = new ThreadPoolExecutor(
            10, // corePoolSize:核心线程数
            20, // maximumPoolSize:最大线程数
            0L, // keepAliveTime:空闲线程存活时间(毫秒)
            TimeUnit.MILLISECONDS,
            new LinkedBlockingQueue<Runnable>(1024), // 队列容量
            namedThreadFactory,
            new ThreadPoolExecutor.CallerRunsPolicy() // 拒绝策略:由调用线程执行任务
        );

        return executorService;
    }
}

OSS上传服务部分代码实现如下,依赖阿里云OSS的API进行文件上传:

java 复制代码
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.model.PutObjectRequest;

import java.io.InputStream;
import java.net.URL;
import java.util.Date;

public class OssService {

    private String endpoint = "<OSS_ENDPOINT>";
    private String accessKeyId = "<ACCESS_KEY_ID>";
    private String accessKeySecret = "<ACCESS_KEY_SECRET>";
    private String bucketName = "<BUCKET_NAME>";

    public String uploadFile(String fileName, InputStream fileContent) {
        OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
        try {
            // 上传文件到 OSS
            ossClient.putObject(new PutObjectRequest(bucketName, fileName, fileContent));

            // 设置预签名 URL 过期时间为 1 小时
            Date expiration = new Date(System.currentTimeMillis() + 3600 * 1000);
            URL url = ossClient.generatePresignedUrl(bucketName, fileName, expiration);

            return url.toString();
        } finally {
            if (ossClient != null) {
                ossClient.shutdown(); // 关闭客户端,释放资源
            }
        }
    }
}

邮件发送部分实现:

java 复制代码
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.mail.javamail.JavaMailSender;
import org.springframework.mail.SimpleMailMessage;
import org.springframework.stereotype.Service;

@Service
public class EmailNotificationService {

    @Autowired
    private JavaMailSender mailSender;

    public void sendEmail(String toAddress, String subject, String body) {
        SimpleMailMessage message = new SimpleMailMessage();
        message.setFrom("noreply@example.com");
        message.setTo(toAddress);
        message.setSubject(subject);
        message.setText(body);

        mailSender.send(message);
    }
}

还需要一些额外的 Spring Mail 的配置,配置到 application.properties:

java 复制代码
spring.mail.host=smtp.example.com
spring.mail.port=587
spring.mail.username=user@example.com
spring.mail.password=yourpassword
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
相关推荐
果果软件3 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
码云社区6 小时前
Java家政服务系统源码:人员技能、服务范围与多商家业务落地
java·开发语言·家政服务·家政小程序·家政系统
摇滚侠7 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
CoderYanger8 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第八弹):MyBatis Generator
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
jaysee-sjc10 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
秋天的怀念_David11 小时前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法
考虑考虑11 小时前
JDK27中的加密对象的 PEM 编码
java·后端·java ee
行者-全栈开发12 小时前
SpringBoot + GraalVM 原生编译实战:启动时间从8秒到0.5秒的极致优化
java·spring boot·后端
CoderYanger12 小时前
Java EE 进阶:10. MyBatis-Plus使用(第一弹)
java·spring boot·后端·sql·spring·java-ee·mybatis
大胖爱学习_MJ14 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python