redis 中缓存 百万级别表的查询数据 出错:Query execution was interrupted

项目背景:项目需要 首检合格率 这个结果,但是sql执行非常慢,就想着使用redis来优化接口的速度。现在我需要将数据库查询结果存储到redis,但是就是这一小步,也非常困难。我是用定时任务来实现上面的目的。

@Component
@Slf4j
public class FirstInspectionPassRateTask {
    @Autowired
    private CheckResultMapper checkResultMapper;

    @Autowired
    private InspectionStationInfoMapper inspectionStationInfoMapper;

    @Autowired
    private RedisTemplate redisTemplate;

    @Scheduled(cron = "0 32 13 * * ?")
    public void calculateFirstInspectionPassRate(){
        log.info("####### 定时任务开启......");
        ValueOperations<String ,String> operations = redisTemplate.opsForValue();

        NumberFormat numberFormat = NumberFormat.getPercentInstance();
        numberFormat.setMinimumFractionDigits(2);

        List<String> unitIdList = inspectionStationInfoMapper.selectUnitId();//单位id 集合
        unitIdList = Optional.ofNullable(unitIdList).orElse(new ArrayList<>());
        //这里只给2024表中的统计数据,因为首检合格率需要跨表,目前我也想不出如何编写 TODO
        List<String> monthList = new ArrayList<>(Arrays.asList("03"));

        unitIdList.forEach(unitId -> {
            monthList.forEach(month -> {
                List<String> bgList = new ArrayList<>();
                //查询指定机构的 首检报告列表
                bgList = checkResultMapper.getFirstInspectionReportCount(unitId, "2024", month);
                bgList = Optional.ofNullable(bgList).orElse(new ArrayList<>());
                //计算指定机构的 首检报告数量
                Long bgSum = (long) bgList.size();

                //首检合格率
                String rate = "0.00%";
                if(bgSum != 0){
                    //计算异常的首检报告数量
                    Long warnBgSum = checkResultMapper.getWarnFirstInspectionReportCount(unitId,"2024",month,bgList);
                    rate = numberFormat.format((bgSum-warnBgSum)/bgSum.doubleValue());
                }
                rate = rate.substring(0,rate.length() -1 );//去除最后的 % 方便前端处理

                String key = String.format("SZJDC:CHECKRESULT:BGBH:%s",unitId+"-2024-"+month);
                operations.set(key,rate,20, TimeUnit.DAYS);
            });
        });
    }

}

就在执行这个定时任务,我出现了非常多的报错:Query execution was interrupted

Closing non transactional SqlSession [org.apache.ibatis.session.defaults.DefaultSqlSession@6eaf527b]
10:45:18.655 [pool-2-thread-1] ERROR o.s.s.s.TaskUtils$LoggingErrorHandler - Unexpected error occurred in scheduled task
org.springframework.dao.QueryTimeoutException:
### Error querying database. Cause: java.sql.SQLTimeoutException: Query execution was interrupted
### The error may exist in file [D:\workspace\IdeaProjects\szjdc-service\sz-warning-platform\target\classes\mappers\CheckResultMapper.xml]
### The error may involve com.iflytek.warning.mapper.CheckResultMapper.getFirstInspectionReportCount
### The error occurred while handling results
### SQL: select BGBH from check_result_2024 cr WHERE year(CHECK_DATE) = ? and month(CHECK_DATE) = ? and UNIT_ID = ? and NOT EXISTS ( select CHECK_ID from check_result_2024 pcr WHERE pcr.CHECK_DATE between DATE_SUB(cr.CHECK_DATE, INTERVAL 4 MONTH) and DATE_SUB(cr.CHECK_DATE , INTERVAL 1 DAY) and cr.VIN = pcr.VIN and UNIT_ID = ? )
### Cause: java.sql.SQLTimeoutException: Query execution was interrupted

这里给出我的解决办法:

这上面处理完了之后还是出现了该报错,然后我请教前辈

就解决了,不愧是前辈

相关推荐
JY_H33 分钟前
MongoDB
数据库·mongodb
杨诚实1 小时前
20240912软考架构-------软考161-165答案解析
数据库·架构
尸僵打怪兽1 小时前
软考(中级-软件设计师)(0919)
java·c语言·数据库·计算机网络·软考·多媒体·软件设计师
litGrey2 小时前
Maven国内镜像(四种)
java·数据库·maven
huaqianzkh3 小时前
了解MySQL 高可用架构:主从备份
数据库·mysql·架构
向往风的男子4 小时前
【mysql】mysql之读写分离以及分库分表
数据库·mysql
阳光开朗_大男孩儿4 小时前
DBUS属性原理
linux·服务器·前端·数据库·qt
挠背小能手4 小时前
达梦数据库SCHEMA使用初探
数据库·oracle
楠神说软件测试5 小时前
接口自动化框架入门(requests+pytest)
运维·数据库·自动化
惟长堤一痕5 小时前
医学数据分析实训 项目一 医学数据采集
数据库