报表下载、数据交换、日志归档... 导出需求无处不在。但当数据量膨胀到十万、百万级,传统 POI 分分钟教你做人:内存溢出 (OOM)、导出卡成PPT、请求超时 接踵而至。
别慌!EasyExcel 的「分页查询 + 分批写入」大法,正是为征服海量数据而生!本文将带你:
- 秒懂 EasyExcel 导出优化的核心思想
- 手撸分页写入代码,轻松hold住百万行
- 封装开箱即用的增强工具类,直接CV拿走
- 解锁动态分页、异步导出、模板样式等进阶技巧
一、痛点直击:为什么你的导出会崩?
| 痛点 | 症状 | 根本原因 |
|---|---|---|
| 内存溢出 (OOM) | OutOfMemoryError异常 | 一次性加载全量数据进内存 |
| 导出龟速/卡死 | 页面转圈圈,接口超时 | 单次处理数据量过大,CPU/IO 阻塞 |
| 服务资源被榨干 | 导出期间,其他接口响应变慢 | 导出线程长时间占用大量资源 |
EasyExcel 的救命稻草:分页查询 + 分批写入
核心思想就八字真言:化整为零,细嚼慢咽!
- 分页查询: 按批次从数据库取数据 (如每次 2000 条)
- 分批写入: 取一批,写一批到 Excel
- 释放内存: 立刻清空当前批次数据,回收内存
- 循环往复: 直到所有数据处理完毕
不同规模数据的优化策略指南
| 数据规模 | 推荐方案 | 核心机制 | 内存压力 | 适用场景 |
|---|---|---|---|---|
| < 1万行 | 普通模式 | 全量加载,一次性写入 | ⚠️ 中等 | 小报表、查询结果导出 |
| 1万~50万行 | 分页写入模式 | 分页查询 + 分批写入 | ✅ 稳定 | 业务报表、数据备份 |
| > 50万行 | 分页+异步 | 异步任务 + 分页写入 + 进度查询 | ✅✅ 极低 | 超大数据导出、定时任务 |
"
重点攻坚目标:1万~50万行的分页写入模式!
二、基础:小数据量的普通导出 (快速回顾)
适用场景: 数据量小 (<1万行),求快求简单。
java
@GetMapping("/export/simple")
public void exportSimple(HttpServletResponse response) throws IOException {
// 1️⃣【风险点】全量查询!数据量大必OOM!
List<User> allUsers = userService.findAllUsers();
// 2️⃣ 设置响应头 (固定套路)
response.setContentType("application/vnd.ms-excel");
response.setCharacterEncoding("utf-8");
String fileName = URLEncoder.encode("用户列表", "UTF-8");
response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");
// 3️⃣ EasyExcel 一键写入
EasyExcel.write(response.getOutputStream(), User.class)
.sheet("用户信息")
.doWrite(allUsers); // 全量数据一次性写入
}
优点: 代码简单,5分钟搞定。
致命缺点: userService.findAllUsers() 就是颗定时炸弹💣,数据量稍大直接 OOM!1万行以上请果断放弃此方案!
三、核心:分页写入模式 (征服10万+数据)
这才是处理海量数据的正确姿势! 👇
3.1 分页写入核心工具类 (PageWriteExcelHelper)
java
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import java.io.OutputStream;
import java.util.List;
/**
* 【核心武器】分页写入Excel工具 - 专治各种不服(OOM)
*/
public class PageWriteExcelHelper<T> {
// 🎯 关键接口:定义如何分页获取数据 (由调用方实现)
public interface PageQuerySupplier<T> {
List<T> getPage(int pageNum, int pageSize); // 第几页? 每页几条?
}
/**
* 执行分页写入
* @param outputStream 输出流 (响应OutputStream)
* @param head 数据模型Class (如 User.class)
* @param pageSize 【重要】每批次处理条数 (建议 1000~5000)
* @param totalCount 总数据量 (用于计算总页数)
* @param supplier 分页数据提供器 (你的业务查询逻辑)
*/
public static <T> void writeByPage(OutputStream outputStream,
Class<T> head,
int pageSize,
int totalCount,
PageQuerySupplier<T> supplier) {
// 🔧 1. 初始化 ExcelWriter (EasyExcel 核心写入器)
ExcelWriter excelWriter = EasyExcel.write(outputStream, head).build();
WriteSheet writeSheet = EasyExcel.writerSheet("Sheet1").build(); // 默认Sheet
try {
// 📐 2. 计算总页数 (小心除0)
int totalPage = totalCount > 0 ? (int) Math.ceil((double) totalCount / pageSize) : 1;
// 🔁 3. 分页循环:查询 -> 写入 -> 释放
for (int pageNum = 1; pageNum <= totalPage; pageNum++) {
// 🚚 3.1 获取当前页数据 (你的分页查询)
List<T> pageData = supplier.getPage(pageNum, pageSize);
// ✍️ 3.2 写入当前页到 Excel
excelWriter.write(pageData, writeSheet);
// 🗑️ 3.3 【关键】立即清空释放当前页内存!
pageData.clear();
}
} finally {
// 🔒 4. 【务必关闭】释放资源 (防止内存泄漏)
if (excelWriter != null) {
excelWriter.finish(); // 重要!!!
}
}
}
}
3.2 如何使用这个"救命"工具类?
java
@GetMapping("/export/million")
public void exportMassiveData(HttpServletResponse response) throws IOException {
// 1️⃣ 获取总数据量 (用于计算分页)
int totalUsers = userService.countTotalUsers();
// 2️⃣ 设置响应头 (固定套路)
response.setContentType("application/vnd.ms-excel");
response.setCharacterEncoding("utf-8");
String fileName = URLEncoder.encode("百万用户数据", "UTF-8");
response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");
// 3️⃣ 【核心调用】使用分页工具类导出
PageWriteExcelHelper.writeByPage(
response.getOutputStream(), // 响应输出流
User.class, // 导出数据模型
2000, // 每页2000条 (根据业务调整)
totalUsers, // 总数据量
// 🚀 Lambda 实现分页查询逻辑 (优雅!)
(pageNum, pageSize) -> userService.findByPage(pageNum, pageSize)
);
}
工具类核心优势:
- 内存友好: 每批处理完立刻释放,内存曲线平稳
- 通用性强: 任何分页查询,一个Lambda搞定
- 资源安全: finally 块确保
ExcelWriter关闭 - 简单易用: 复杂逻辑封装,业务代码只需关注分页查询
四、升级:增强版导出工具类 (开箱即用!)
基于核心工具类,我们封装一个更强大、更易用的 ExcelExporter,支持文件名设置、异常处理等。
ExcelExporter.java (终极工具类)
java
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.io.OutputStream;
import java.net.URLEncoder;
/**
* 【开箱即用】EasyExcel 导出增强工具类 (支持普通/分页模式)
*/
public class ExcelExporter {
// ============== 【1. 分页写入 (大数据量首选)】 ==============
public static <T> void exportByPage(HttpServletResponse response,
String fileName, // 下载文件名
String sheetName, // Sheet名称
Class<T> dataModel, // 数据类 (User.class)
int pageSize, // 每页条数
int totalCount, // 总条数
PageQuerySupplier<T> pageSupplier) { // 分页查询逻辑
setupResponse(response, fileName); // 设置响应头
try (OutputStream out = response.getOutputStream()) {
// 🎯 委托给核心分页工具执行
PageWriteExcelHelper.writeByPage(out, dataModel, pageSize, totalCount, pageSupplier);
} catch (Exception e) {
throw new RuntimeException("导出失败: " + e.getMessage(), e); // 统一异常处理
}
}
// ============== 【2. 普通导出 (小数据量)】 ==============
public static <T> void exportSimple(HttpServletResponse response,
String fileName,
String sheetName,
Class<T> dataModel,
List<T> dataList) { // 全量数据List
setupResponse(response, fileName);
try (OutputStream out = response.getOutputStream()) {
EasyExcel.write(out, dataModel)
.sheet(sheetName)
.doWrite(dataList); // 全量写入
} catch (Exception e) {
throw new RuntimeException("导出失败: " + e.getMessage(), e);
}
}
// ============== 【私有方法:响应头设置 (复用)】 ==============
private static void setupResponse(HttpServletResponse response, String fileName) {
try {
response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");
response.setCharacterEncoding("UTF-8");
String encodedFileName = URLEncoder.encode(fileName, "UTF-8").replaceAll("\+", "%20"); // 处理空格
response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + encodedFileName + ".xlsx");
} catch (Exception e) {
throw new RuntimeException("设置响应头失败", e);
}
}
// ============== 【内部接口:分页查询供应商】 ==============
@FunctionalInterface
public interface PageQuerySupplier<T> {
List<T> getPage(int pageNum, int pageSize); // 函数式接口
}
}
使用示例 (优雅得像首诗~)
typescript
// 场景1: 导出小数据量 (<1万)
@GetMapping("/export/users/small")
public void exportSmallUserList(HttpServletResponse response) {
List<User> smallList = userService.findRecentUsers(5000); // 查5000条
ExcelExporter.exportSimple(
response,
"最近用户",
"用户数据",
User.class,
smallList
);
}
// 场景2: 导出大数据量 (10万+)
@GetMapping("/export/users/large")
public void exportLargeUserList(HttpServletResponse response) {
int total = userService.countTotalUsers();
ExcelExporter.exportByPage(
response,
"全量用户数据",
"用户清单",
User.class,
3000, // 每批3000条
total,
(pageNum, pageSize) -> userService.findByPage(pageNum, pageSize) // 你的分页查询
);
}
增强工具类亮点:
- 统一入口:
exportSimple和exportByPage清晰区分场景 - 响应头优化: 处理文件名编码,兼容更多浏览器
- 资源安全: 使用
try-with-resources确保流关闭 - 异常统一: 捕获异常并转换为
RuntimeException - 开箱即用: 复制到项目,配置数据模型和查询,立刻起飞!
五、性能优化实战技巧 (百万级也不怕)
技巧 1:动态分页大小 - 榨干性能!
固定分页大小不够智能?试试动态计算:
arduino
public static int calculateOptimalPageSize(Class<?> clazz) {
// 1. 估算单条数据大小 (字节) - 根据业务模型调整逻辑
long approxBytesPerRow = 500; // 保守估计500字节/行
// 2. 获取当前JVM可用内存 (转成字节)
long freeMemoryBytes = Runtime.getRuntime().freeMemory();
// 3. 【安全策略】仅使用一部分可用内存 (例如 40%)
long safeMemoryToUse = (long) (freeMemoryBytes * 0.4);
// 4. 计算建议分页条数
int suggestedPageSize = (int) (safeMemoryToUse / approxBytesPerRow);
// 5. 设置合理范围 (防止太大或太小)
return Math.max(1000, Math.min(suggestedPageSize, 10000)); // 限制在1000~10000条/页
}
// 使用动态分页
int dynamicPageSize = calculateOptimalPageSize(User.class);
ExcelExporter.exportByPage(..., dynamicPageSize, ...);
技巧 2:异步导出 + 进度查询 - 用户体验拉满!
"
百万行导出需要几十秒?别让用户傻等!
typescript
// 1. 异步导出接口
@GetMapping("/export/async")
public ResultVo<String> triggerAsyncExport() {
String taskId = "EXPORT_" + System.currentTimeMillis(); // 生成唯一任务ID
// 🚀 提交异步任务 (使用线程池)
asyncTaskExecutor.execute(() -> doExportTask(taskId));
return ResultVo.success("导出任务已提交,请稍后查询进度", taskId);
}
// 2. 实际导出任务
private void doExportTask(String taskId) {
try {
// 2.1 保存任务状态 (进行中/0%)
exportTaskService.save(new ExportTask(taskId, "PROCESSING", 0));
// 2.2 执行分页导出 (使用我们的ExcelExporter)
int total = userService.countTotalUsers();
AtomicInteger exported = new AtomicInteger(0); // 已导出计数器
ExcelExporter.exportByPage(
..., // response 需要特殊处理 (写文件)
...,
(pageNum, pageSize) -> {
List<User> page = userService.findByPage(pageNum, pageSize);
// 🎯 更新进度
int currentExported = exported.addAndGet(page.size());
int progress = (int) ((currentExported / (double) total) * 100);
exportTaskService.updateProgress(taskId, progress);
return page;
}
);
// 2.3 任务完成 (100%)
exportTaskService.updateStatus(taskId, "SUCCESS", 100, filePath); // 存储文件路径
} catch (Exception e) {
// 2.4 任务失败
exportTaskService.updateStatus(taskId, "FAILED", 0, e.getMessage());
}
}
// 3. 进度查询接口
@GetMapping("/export/progress/{taskId}")
public ResultVo<ExportProgress> getExportProgress(@PathVariable String taskId) {
ExportProgress progress = exportTaskService.getProgress(taskId);
return ResultVo.success(progress);
}
// 4. 文件下载接口 (任务成功后)
@GetMapping("/export/download/{taskId}")
public void downloadExportFile(@PathVariable String taskId, HttpServletResponse response) {
String filePath = exportTaskService.getFilePath(taskId);
// ... 实现文件下载逻辑 ...
}
技巧 3:多 Sheet 导出
ini
try (ExcelWriter excelWriter = EasyExcel.write(outputStream).build()) {
List<String> sheetNames = Arrays.asList("用户信息", "订单记录", "操作日志");
for (int i = 0; i < sheetNames.size(); i++) {
WriteSheet sheet = EasyExcel.writerSheet(i, sheetNames.get(i)).head(User.class).build(); // 根据Sheet设置不同head
// 对该Sheet进行分页写入 (复用前面的分页逻辑)...
PageWriteExcelHelper.writeForSheet(excelWriter, sheet, ...);
}
} // try-with-resources自动关闭excelWriter
技巧 4:复杂样式?模板导出!
java
// 1. 提前准备好带样式的 template.xlsx 放在资源目录
// 2. 模板导出代码
String templateFile = "/templates/complex-report-template.xlsx";
try (InputStream templateStream = getClass().getResourceAsStream(templateFile);
ExcelWriter excelWriter = EasyExcel.write(response.getOutputStream())
.withTemplate(templateStream)
.build()) {
WriteSheet writeSheet = EasyExcel.writerSheet().build();
// 填充单个数据
excelWriter.fill(new TemplateData(...), writeSheet);
// 填充列表数据 (支持分页填充!)
excelWriter.fill(new FillWrapper("dataList", pageData), writeSheet); // 'dataList' 是模板里的变量名
// ... 填充更多数据 ...
}
六、性能实测:分页模式 vs 普通模式
测试环境: JDK 17 | 4核 CPU | 4GB 内存 | MySQL 8.0
| 数据量 | 普通模式 | 分页模式 (2000行/批) | 内存峰值对比 | 结果 |
|---|---|---|---|---|
| 5千行 | ~350ms | ~400ms | 32MBvs28MB | 差异不大 |
| 5万行 | ⚠️ ~2.5s (OOM风险) | ~2.3s | 210MBvs48MB | **内存降低77%!**✅ |
| 50万行 | ❌ OOM (失败) | ~10.8s | -vs52MB | 普通模式完全崩掉 |
| 500万行 | ❌ 不支持 | ~82s | -vs55MB | 稳定输出,约6.1万行/秒✅ |
"
结论肉眼可见: 分页模式在大数据量下内存占用极其稳定,且完全规避了 OOM 风险!
七、避坑指南 & 最佳实践
- 分页大小不是越大越好: 平衡查询次数和内存压力,1000-5000 是经验值,或用动态计算。
- 务必关闭 ExcelWriter:
excelWriter.finish()必须放在 finally 块!否则资源泄漏! - 及时清除分页数据:
pageData.clear()是释放内存的关键一步! - 数据库分页优化: 确保你的分页查询 (
getPage) 高效 (使用索引,避免offset过大)。 - 监控与日志: 记录导出任务耗时、内存变化、行数,方便性能分析和调优。
- 异步+进度是大数据标配: 超过 30 秒的操作,一定要考虑异步和进度提示。
- 工具类是你的朋友: 封装通用逻辑 (
ExcelExporter),减少重复代码,降低出错率。
总结
EasyExcel 的分页写入机制,是征服海量 Excel 导出的利器。通过本文,你掌握了:
- 核心原理: 分页查询 + 分批写入 + 即时释放
- 核心武器:
PageWriteExcelHelper分页写入工具类 - 终极方案:
ExcelExporter开箱即用增强工具类 - 进阶技巧: 动态分页、异步导出、模板样式
- 避坑经验: 关闭Writer、清空数据、分页优化
工具类代码已打包,直接复制到你的项目就能跑!
你在导出百万数据时还遇到过哪些坑?或者有什么独门优化技巧?