Java 使用ListUtils对List分页处理

背景分析

工作中,经常遇到需要用Java进行分页处理数据,例如把1000万条Excel数据写入MySQL数据库,如果把这1000w数据一股脑的丢给MySQL,保证把数据库玩完,故需要批量写入,如每批次写入500条。这时候就可以使用ListUtils.partition了。

maven坐标

commons-collections4和Guava两个jar包的坐标如下:

java 复制代码
<dependency>
	<groupId>org.apache.commons</groupId>
	<artifactId>commons-collections4</artifactId>
	<version>4.4</version>
</dependency>
<dependency>
	<groupId>com.google.guava</groupId>
	<artifactId>guava</artifactId>
	<version>31.0.1-jre</version>
</dependency>

批处理List

基于commons-collections4和Guava两个jar包,对java.util.List中海量数据进行分批处理的逻辑如下所示,请求参数都是传入List和每页处理的数据量:

java 复制代码
    public static void main(String[] args) {
        List<String> list =new ArrayList<>();
        list.add("a");
        list.add("b");
        list.add("c");
        list.add("d");
        list.add("Wiener");
        batchDealData(list, 3);
        batchDealByGuava(list, 3);
    }

    private static void batchDealData (List data, int batchNum) {

        // commons-collections4
        List<List<String>> partitions = ListUtils.partition(data, batchNum);
        partitions.stream().forEach(sublist -> {
            System.out.println(sublist);
        });
    }
    private static void batchDealByGuava (List data, int batchNum) {
        // guava
        List<List<String>> partitions = Lists.partition(data, batchNum);
        partitions.stream().forEach(sublist -> {
            System.out.println(sublist);
        });
    }

这种处理方法相对于手动分页,其优点显而易见,既可以降低代码复杂度,又可以提高开发效率。小编在《Java 使用线程池分批插入或者更新数据》中,介绍了一种通用分页方式,略显复杂,下面基于commons-collections4,优化其中的分页策略,代码如下:

java 复制代码
private void batchDeal(List<Object> data, int batchNum) throws InterruptedException {
        if (CollectionUtils.isEmpty(data)) {
            return;
        }
        // 使用 ListUtils.partition分页
        List<List<Object>> newList = ListUtils.partition(data, batchNum);
        // 计算总页数
        int pageNum = newList.size(); 
        ExecutorService executor = Executors.newFixedThreadPool(pageNum);
        try {
            CountDownLatch countDownLatch = new CountDownLatch(pageNum);
            for (int i = 0; i < pageNum; i++) {
                ImportTask task = new ImportTask(newList.get(i), countDownLatch);
                executor.execute(task);
            }
            countDownLatch.await();
            log.info("数据操作完成!可以在此开始其它业务");
        } finally {
            // 关闭线程池,释放资源
            executor.shutdown();
        }
    }
    // 无改动
    class ImportTask implements Runnable {
        private List list;
        private CountDownLatch countDownLatch;

        public ImportTask(List data, CountDownLatch countDownLatch) {
            this.list = data;
            this.countDownLatch = countDownLatch;
        }

        @Override
        public void run() {
            if (null != list) {
                // 业务逻辑,例如批量insert或者update
                log.info("现在操作的数据是{}", list);
            }
            // 发出线程任务完成的信号
            countDownLatch.countDown();
        }
    }

整理自:https://www.cnblogs.com/east7/p/15876727.html

相关推荐
花伤情犹在3 分钟前
Java Stream 高级应用:优雅地扁平化(FlatMap)递归树形结构数据
java·stream·function·flatmap
歪歪1007 分钟前
React Native开发Android&IOS流程完整指南
android·开发语言·前端·react native·ios·前端框架
yaoxin52112316 分钟前
212. Java 函数式编程风格 - Java 编程风格转换:命令式 vs 函数式(以循环为例)
java·开发语言
wangqiaowq16 分钟前
ImmutableList.of() 是 Google Guava 库 提供的一个静态工厂方法,用于创建一个不可变的(immutable)列表。
开发语言·windows·python
摇滚侠26 分钟前
Spring Boot 3零基础教程,WEB 开发 Thymeleaf 属性优先级 行内写法 变量选择 笔记42
java·spring boot·笔记
滑水滑成滑头27 分钟前
**发散创新:多智能体系统的探索与实践**随着人工智能技术的飞速发展,多智能体系统作为当今研究的热点领域,正受到越来越多关注
java·网络·人工智能·python
摇滚侠30 分钟前
Spring Boot 3零基础教程,WEB 开发 Thymeleaf 总结 热部署 常用配置 笔记44
java·spring boot·笔记
十年小站31 分钟前
一、新建一个SpringBoot3项目
java·spring boot
十五年专注C++开发31 分钟前
QDarkStyleSheet: 一个Qt应用的暗色主题解决方案
开发语言·c++·qt·qss
2401_8414956433 分钟前
【数据结构】最长的最短路径的求解
java·数据结构·c++·python·算法·最短路径·图搜索