redis 中缓存 百万级别表的查询数据 出错:Query execution was interrupted

项目背景:项目需要 首检合格率 这个结果,但是sql执行非常慢,就想着使用redis来优化接口的速度。现在我需要将数据库查询结果存储到redis,但是就是这一小步,也非常困难。我是用定时任务来实现上面的目的。

复制代码
@Component
@Slf4j
public class FirstInspectionPassRateTask {
    @Autowired
    private CheckResultMapper checkResultMapper;

    @Autowired
    private InspectionStationInfoMapper inspectionStationInfoMapper;

    @Autowired
    private RedisTemplate redisTemplate;

    @Scheduled(cron = "0 32 13 * * ?")
    public void calculateFirstInspectionPassRate(){
        log.info("####### 定时任务开启......");
        ValueOperations<String ,String> operations = redisTemplate.opsForValue();

        NumberFormat numberFormat = NumberFormat.getPercentInstance();
        numberFormat.setMinimumFractionDigits(2);

        List<String> unitIdList = inspectionStationInfoMapper.selectUnitId();//单位id 集合
        unitIdList = Optional.ofNullable(unitIdList).orElse(new ArrayList<>());
        //这里只给2024表中的统计数据,因为首检合格率需要跨表,目前我也想不出如何编写 TODO
        List<String> monthList = new ArrayList<>(Arrays.asList("03"));

        unitIdList.forEach(unitId -> {
            monthList.forEach(month -> {
                List<String> bgList = new ArrayList<>();
                //查询指定机构的 首检报告列表
                bgList = checkResultMapper.getFirstInspectionReportCount(unitId, "2024", month);
                bgList = Optional.ofNullable(bgList).orElse(new ArrayList<>());
                //计算指定机构的 首检报告数量
                Long bgSum = (long) bgList.size();

                //首检合格率
                String rate = "0.00%";
                if(bgSum != 0){
                    //计算异常的首检报告数量
                    Long warnBgSum = checkResultMapper.getWarnFirstInspectionReportCount(unitId,"2024",month,bgList);
                    rate = numberFormat.format((bgSum-warnBgSum)/bgSum.doubleValue());
                }
                rate = rate.substring(0,rate.length() -1 );//去除最后的 % 方便前端处理

                String key = String.format("SZJDC:CHECKRESULT:BGBH:%s",unitId+"-2024-"+month);
                operations.set(key,rate,20, TimeUnit.DAYS);
            });
        });
    }

}

就在执行这个定时任务,我出现了非常多的报错:Query execution was interrupted

复制代码
Closing non transactional SqlSession [org.apache.ibatis.session.defaults.DefaultSqlSession@6eaf527b]
10:45:18.655 [pool-2-thread-1] ERROR o.s.s.s.TaskUtils$LoggingErrorHandler - Unexpected error occurred in scheduled task
org.springframework.dao.QueryTimeoutException:
### Error querying database. Cause: java.sql.SQLTimeoutException: Query execution was interrupted
### The error may exist in file [D:\workspace\IdeaProjects\szjdc-service\sz-warning-platform\target\classes\mappers\CheckResultMapper.xml]
### The error may involve com.iflytek.warning.mapper.CheckResultMapper.getFirstInspectionReportCount
### The error occurred while handling results
### SQL: select BGBH from check_result_2024 cr WHERE year(CHECK_DATE) = ? and month(CHECK_DATE) = ? and UNIT_ID = ? and NOT EXISTS ( select CHECK_ID from check_result_2024 pcr WHERE pcr.CHECK_DATE between DATE_SUB(cr.CHECK_DATE, INTERVAL 4 MONTH) and DATE_SUB(cr.CHECK_DATE , INTERVAL 1 DAY) and cr.VIN = pcr.VIN and UNIT_ID = ? )
### Cause: java.sql.SQLTimeoutException: Query execution was interrupted

这里给出我的解决办法:

这上面处理完了之后还是出现了该报错,然后我请教前辈

就解决了,不愧是前辈

相关推荐
施嘉伟15 分钟前
Oracle 11g RAC ASM磁盘组剔盘、加盘实施过程
数据库·oracle
尤物程序猿36 分钟前
【2025面试Java常问八股之redis】zset数据结构的实现,跳表和B+树的对比
数据结构·redis·面试
橘猫云计算机设计1 小时前
springboot基于hadoop的酷狗音乐爬虫大数据分析可视化系统(源码+lw+部署文档+讲解),源码可白嫖!
数据库·hadoop·spring boot·爬虫·python·数据分析·毕业设计
卓怡学长2 小时前
w304基于HTML5的民谣网站的设计与实现
java·前端·数据库·spring boot·spring·html5
冰^2 小时前
MySQL VS SQL Server:优缺点全解析
数据库·数据仓库·redis·sql·mysql·json·数据库开发
电商数据girl3 小时前
产品经理对于电商接口的梳理||电商接口文档梳理与接入
大数据·数据库·python·自动化·产品经理
zru_96023 小时前
Docker 部署 Redis:快速搭建高效缓存服务
redis·缓存·docker
axinawang3 小时前
springboot整合redis实现缓存
spring boot·redis·缓存
Spring小子3 小时前
黑马点评商户查询缓存--缓存更新策略
java·数据库·redis·后端
溜溜刘@♞5 小时前
数据库之mysql优化
数据库·mysql