EasyExcel 大数据量导入导出解决方案进阶

企业码道刘某2024-10-07 9:59

在上篇文章中，针对项目中最基本的大数据量的导入和导出最基本的使用进行了讲解，但是实际项目中的导入，可能不止是单纯的读取excel文件数据，然后直接插入到数据库中。在实际项目中，更多的还是读取到数据之后，需要进行一系列的判断，如：数据是否重复，如果在导入的时候，每条数据都要去查询一下是否存在，想象一下，100w条数据，每次都调一次数据库，这个时间得要多长。那么怎么解决呢？以下提供解决方案。

一、项目使用框架

代码见：gitee.com/blog-materi... 的 easyExcel部分

easyexcel官网：easyexcel.opensource.alibaba.com

由于其他的项目依赖跟上篇文章的都一样，这里就不做赘述了，详见：大数据量导入导出解决方案-EasyExcel

这里就只对导入时判断数据重复的问题，做一下讲解，主要变动文件就是EasyExcelStudentImportHandler类。

其他代码和前端代码可以查看源代码

版本一：每条都查询数据库，判断是否重复

EasyExcelStudentImportHandler 类：

java 复制代码 
@Slf4j
@Service
@Scope("prototype")
public class EasyExcelStudentImportHandler implements ReadListener<EasyExcelImportExcel> {

    /** 成功数据集合 */
    private final CopyOnWriteArrayList<EasyExcelImportExcel> successList = new CopyOnWriteArrayList<>();
    /** 失败数据集合 */
    private final CopyOnWriteArrayList<EasyExcelImportExcel> failList = new CopyOnWriteArrayList<>();
    /** 批处理条数 */
    private final static int BATCH_COUNT = 20000;
    private Set<String> studentNumSet = new HashSet<>();
    @Resource
    private ThreadPoolExecutor easyExcelStudentImportThreadPool;
    @Resource
    private StudentMapper studentMapper;

    /**
     * 读取表格内容，每一条数据解析都会来调用
     * @author LP to 2024/4/7
     */
    @Override
    public void invoke(EasyExcelImportExcel importExcel, AnalysisContext analysisContext) {
        // 参数校验
        if (StringUtils.isBlank(importExcel.getName())) {
            importExcel.setErrorMsg("学生名称不能为空");
            failList.add(importExcel);
            return;
        }
        if (StringUtils.isBlank(importExcel.getStudentNum())) {
            importExcel.setErrorMsg("学号不能为空");
            failList.add(importExcel);
            return;
        }
        // 这里用学号作为唯一值,用于判断文件里的数据是否有重复
        if (studentNumSet.contains(importExcel.getStudentNum())) {
            importExcel.setErrorMsg("学号重复(文件)");
            failList.add(importExcel);
            return;
        }
        studentNumSet.add(importExcel.getStudentNum());

        // 版本①：每条数据进行数据库查询
        if (studentMapper.selectCount(Wrappers.<Student>lambdaQuery().eq(Student::getStudentNum, importExcel.getStudentNum())) > 0) {
            importExcel.setErrorMsg("学号重复(数据库)");
            failList.add(importExcel);
            return;
        }
        successList.add(importExcel);
        if (successList.size() >= BATCH_COUNT) {
            saveDate();
        }
    }

    /**
     * 在转换异常 获取其他异常下会调用本接口。抛出异常则停止读取。如果这里不抛出异常则 继续读取下一行。
     * @author LP to 2024/4/7
     */
    @Override
    public void onException(Exception exception, AnalysisContext context) throws Exception {
        // 导入异常，实际业务可以做一些异常处理。比如记录失败数据等
    }

    /**
     * 所有数据解析完成了调用
     * @author LP to 2024/4/7
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        saveDate();
    }

    /**
     * 保存信息
     * @author Liupeng to 2024/4/2
     */
    private void saveDate() {
        // 拆分list，每个list 2000 条数据
        List<List<EasyExcelImportExcel>> lists = ListUtil.split(successList, 2000);
        final CountDownLatch countDownLatch = new CountDownLatch(lists.size());
        for (List<EasyExcelImportExcel> list : lists) {
            easyExcelStudentImportThreadPool.execute(() -> {
                try {
                    studentMapper.insertBatch(list.stream().map(o -> {
                        Student student = new Student();
                        student.setNo(IdUtil.getSnowflakeNextId());
                        student.setName(o.getName());
                        student.setStudentNum(o.getStudentNum());
                        student.setAge(o.getAge());
                        student.setSex(o.getSex());
                        student.setBirthday(o.getBirthday());
                        return student;
                    }).collect(Collectors.toList()));
                } catch (Exception e) {
                    log.error("启动线程失败,e:{}", e.getMessage(), e);
                } finally {
                    countDownLatch.countDown();
                }
            });
        }
        // 等待所有线程执行完
        try {
            countDownLatch.await();
        } catch (Exception e) {
            log.error("等待所有线程执行完异常,e:{}", e.getMessage(), e);
        }
        // 提前将不再使用的集合清空，释放资源
        successList.clear();
        failList.clear();
        lists.clear();
    }
}

由于这种方式过于慢，这里只用了10w条数据做测试，只解析文件，用时/ms：

解析文件 + 插入数据库，用时/ms

版本二：批量处理

EasyExcelStudentImportHandler 类：

java 复制代码 
@Slf4j
@Service
@Scope("prototype")
public class EasyExcelStudentImportHandler implements ReadListener<EasyExcelImportExcel> {

    /** 代校验数据集合 */
    private final CopyOnWriteArrayList<EasyExcelImportExcel> checkList = new CopyOnWriteArrayList<>();
    /** 成功数据集合 */
    private final CopyOnWriteArrayList<EasyExcelImportExcel> successList = new CopyOnWriteArrayList<>();
    /** 失败数据集合 */
    private final CopyOnWriteArrayList<EasyExcelImportExcel> failList = new CopyOnWriteArrayList<>();
    /** 批处理条数 */
    private final static int BATCH_COUNT = 20000;
    private Set<String> studentNumSet = new HashSet<>();
    @Resource
    private ThreadPoolExecutor easyExcelStudentImportThreadPool;
    @Resource
    private StudentMapper studentMapper;

    /**
     * 读取表格内容，每一条数据解析都会来调用
     * @author LP to 2024/4/7
     */
    @Override
    public void invoke(EasyExcelImportExcel importExcel, AnalysisContext analysisContext) {
        // 参数校验
        if (StringUtils.isBlank(importExcel.getName())) {
            importExcel.setErrorMsg("学生名称不能为空");
            failList.add(importExcel);
            return;
        }
        if (StringUtils.isBlank(importExcel.getStudentNum())) {
            importExcel.setErrorMsg("学号不能为空");
            failList.add(importExcel);
            return;
        }
        // 这里用学号作为唯一值,用于判断文件里的数据是否有重复
        if (studentNumSet.contains(importExcel.getStudentNum())) {
            importExcel.setErrorMsg("学号重复(文件)");
            failList.add(importExcel);
            return;
        }
        studentNumSet.add(importExcel.getStudentNum());

        // 版本①：每条数据进行数据库查询
        // if (studentMapper.selectCount(Wrappers.<Student>lambdaQuery().eq(Student::getStudentNum, importExcel.getStudentNum())) > 0) {
        //     importExcel.setErrorMsg("学号重复(数据库)");
        //     failList.add(importExcel);
        //     return;
        // }
        checkList.add(importExcel);
        if (checkList.size() >= BATCH_COUNT) {
            checkData();
            saveDate();
        }
    }

    /**
     * 在转换异常 获取其他异常下会调用本接口。抛出异常则停止读取。如果这里不抛出异常则 继续读取下一行。
     * @author LP to 2024/4/7
     */
    @Override
    public void onException(Exception exception, AnalysisContext context) throws Exception {
        // 导入异常，实际业务可以做一些异常处理。比如记录失败数据等
    }

    /**
     * 所有数据解析完成了调用
     * @author LP to 2024/4/7
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        saveDate();
    }

    /**
     * 版本②：校验数据
     * @author Liupeng to 2024/9/30
     */
    private void checkData() {
        // 拆分list，每个list 2000 条数据
        List<List<EasyExcelImportExcel>> lists = ListUtil.split(checkList, 2000);
        final CountDownLatch countDownLatch = new CountDownLatch(lists.size());
        for (List<EasyExcelImportExcel> list : lists) {
            easyExcelStudentImportThreadPool.execute(() -> {
                try {
                    // 判断学号是否重复，批量查询学号
                    Map<String, EasyExcelImportExcel> studentNumMap = list.stream().collect(Collectors.toMap(EasyExcelImportExcel::getStudentNum, o -> o, (t1, t2) -> t2));
                    List<Student> studentList = studentMapper.selectList(Wrappers.<Student>lambdaQuery().in(Student::getStudentNum, studentNumMap.keySet()));
                    if (null == studentList) {
                        // 为空，表示没有重复
                        successList.addAll(list);
                    } else {
                        // 不为空，则需要遍历比较哪些值重复，将重复值从map删除，剩下map里的值就是不重复的
                        studentList.forEach(o -> {
                            EasyExcelImportExcel importExcel = studentNumMap.get(o.getStudentNum());
                            importExcel.setErrorMsg("学号重复(数据库)");
                            failList.add(importExcel);
                            studentNumMap.remove(o.getStudentNum());
                        });
                        successList.addAll(studentNumMap.values().stream().toList());
                    }
                } catch (Exception e) {
                    log.error("数据校验失败,e:{}", e.getMessage(), e);
                } finally {
                    countDownLatch.countDown();
                }
            });
        }
        // 等待所有线程执行完
        try {
            countDownLatch.await();
        } catch (Exception e) {
            log.error("等待所有线程执行完异常,e:{}", e.getMessage(), e);
        }
        // 提前将不再使用的集合清空，释放资源
        checkList.clear();
        lists.clear();
    }

    /**
     * 保存信息
     * @author Liupeng to 2024/4/2
     */
    private void saveDate() {
        // 拆分list，每个list 2000 条数据
        List<List<EasyExcelImportExcel>> lists = ListUtil.split(successList, 2000);
        final CountDownLatch countDownLatch = new CountDownLatch(lists.size());
        for (List<EasyExcelImportExcel> list : lists) {
            easyExcelStudentImportThreadPool.execute(() -> {
                try {
                    studentMapper.insertBatch(list.stream().map(o -> {
                        Student student = new Student();
                        student.setNo(IdUtil.getSnowflakeNextId());
                        student.setName(o.getName());
                        student.setStudentNum(o.getStudentNum());
                        student.setAge(o.getAge());
                        student.setSex(o.getSex());
                        student.setBirthday(o.getBirthday());
                        return student;
                    }).collect(Collectors.toList()));
                } catch (Exception e) {
                    log.error("启动线程失败,e:{}", e.getMessage(), e);
                } finally {
                    countDownLatch.countDown();
                }
            });
        }
        // 等待所有线程执行完
        try {
            countDownLatch.await();
        } catch (Exception e) {
            log.error("等待所有线程执行完异常,e:{}", e.getMessage(), e);
        }
        // 提前将不再使用的集合清空，释放资源
        successList.clear();
        lists.clear();
    }
}

导入10w条数据，只解析文件，用时/ms：

解析文件 + 插入数据库，用时/ms：

数据库中原本有100w条数据，插入成功10w条：

导入100w条数据，只解析文件，用时/ms：

解析文件 + 插入数据库，用时/ms：

数据库中原本有100w条数据，插入成功100w条：

可以看到，以批量的方式来处理这种问题，速度是有质的提升的。我这里举得例子，还可以适用于其他的逻辑判断，如：导入的时候有学生的老师归属，需要判断老师是否存在，也可以使用批量的方式来处理。

以上就是大数据量导入情况下，需要判断数据问题的解决方案。

相关推荐
醒了就刷牙11 分钟前
黑马Java面试教程_P9_MySQL
java·mysql·面试
m0_7482336417 分钟前
SQL数组常用函数记录(Map篇)
java·数据库·sql
编程爱好者熊浪1 小时前
JAVA HTTP压缩数据
java
吴冰_hogan1 小时前
JVM（Java虚拟机）的组成部分详解
java·开发语言·jvm
开心工作室_kaic1 小时前
springboot485基于springboot的宠物健康顾问系统(论文+源码)_kaic
spring boot·后端·宠物
0zxm1 小时前
08 Django - Django媒体文件&静态文件&文件上传
数据库·后端·python·django·sqlite
白宇横流学长2 小时前
基于java出租车计价器设计与实现【源码+文档+部署讲解】
java·开发语言
数据小爬虫@4 小时前
Java爬虫实战：深度解析Lazada商品详情
java·开发语言
咕德猫宁丶4 小时前
探秘Xss：原理、类型与防范全解析
java·网络·xss
F-2H6 小时前
C语言：指针4（常量指针和指针常量及动态内存分配）
java·linux·c语言·开发语言·前端·c++
热门推荐
0119个Web前端交互式3D JavaScript框架和库02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04RAG 实践- Ollama+RagFlow 部署本地知识库05【一文读懂】NTN（非地面网络）技术介绍06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07ZZ038 物联网应用与服务赛题第J套08组基轨迹建模 GBTM的介绍与实现（Stata 或 R）09Docker 夺命连环 15 问10VSCode插件 —— Cody AI （免费AI助手！）