Java基础|多线程:多线程分页拉取

前言:

通常我们都会遇到分页拉取的需求,比如与第三方系统同步数据,定时拉取全量数据做缓存,下面我们简单介绍下多线程分页写法

需求:

全量同步第三方系统数据,并在全部数据同步完后,统一做缓存数据处理

前置条件:

1.使用springBoot的ThreadPoolTaskExecutor 多线程封装数据

2.springBoot2.x、jdk8

完成步骤:

1.计算对应页数,把每页需求

2.循环多线程拉取

3.多线程内的子线程都完成了之后,再统一做缓存

具体代码:

1.多线程+CountDownLatch

java 复制代码
    public void doRepetition() {
        log.info("处理重复组合编码 start");
        doneService.initRingCode();
        List<DoneRingPO> doneRingList = doneRingMapper.queryRepetitionRing();
        if (CollectionUtils.isEmpty(doneRingList)) {
            log.info("处理重复组合编码为空,处理重复组合编码 end");
            return;
        }
        for (DoneRingPO item : doneRingList) {
            List<DoneRingPO> repetitionCodeList = doneRingMapper.queryDoneRingByCode(Collections.singletonList(String.valueOf(item.getCode())));
            for (int i = 1; i < repetitionCodeList.size(); i++) {
                repetitionCodeList.get(i).setCode(redisTemplate.opsForValue().increment(DoneCacheKey.DONE_RING_CODE_INCR.getKey()));
            }
            for (DoneRingPO ringPo : repetitionCodeList) {
                doneRingMapper.updateRingCode(ringPo);
            }
        }
        log.info("处理重复组合编码 end");
    }

2.多线程+CompletableFuture

java 复制代码
    public void testMulti(Integer totalNum) throws Exception {
        int totalPage = totalNum;
        final List<CompletableFuture<String>> futureList = new ArrayList<>();
        for (int i = 1; i <= totalPage; i++) {
            try {
                final int page =i;
                futureList.add(CompletableFuture.supplyAsync(() -> {
                    //TODO 执行耗时任务
                    log.info("耗时任务page={}",page);
                    return Integer.toString(page);
                }, taskExecutor));
            } catch (Exception e) {
                log.error("线程异常....", e);
            }
        }
        final CompletableFuture<Void> allOf = CompletableFuture.allOf(futureList.toArray(new CompletableFuture[0]));
        //线程等待完成
        allOf.get();
        //TODO 执行缓存任务
        log.info("结束");
    }
	
相关推荐
毕设源码-朱学姐2 分钟前
【开题答辩全过程】以 产品报价系统为例,包含答辩的问题和答案
java·eclipse
自动化小秋葵5 分钟前
Python入门经典题目
开发语言·python
无心水32 分钟前
深入Java线程池:BlockingQueue实现全景解析与实战指南
java·后端·面试
Java水解36 分钟前
JAVA面试题大全(200+道题目)
java·后端·面试
Predestination王瀞潞38 分钟前
Java EE开发技术(第四章:过滤器和监听器银行管理系统-下)
java·java-ee
摇滚侠41 分钟前
Spring Boot3零基础教程,Profile 环境隔离用法,笔记55
java·spring boot·笔记
编程岁月41 分钟前
java面试-0305-java线程调度方法?sleep()和wait()区别?
java·开发语言·面试
凌晨一点的秃头猪1 小时前
Python 常见 bug 总结和异常处理
开发语言·python·bug
DoveLx1 小时前
如何集成ElasticSearch到Spring Boot+MySQL项目中
java·elasticsearch
云知谷1 小时前
【经典书籍】C++ Primer 第19章特殊工具与技术精华讲解
c语言·开发语言·c++·软件工程·团队开发