游标分批查询,提高查询性能

大批量数据查询的方案

数据表,在查找大批量数据,或者滚动查询页面时,

如果使用全量查询,可能会因为查询时间过久,触发超时。

如果使用 LIMIT 分批查询,查到最后几页时,由于偏移量越来越大,查询会越来越慢。

数据表,在查找大批量数据,或者滚动查询页面时,可以使用游标分批查询。

游标分批查询

游标分批查询,也就是根据id 分批查找。

利用主键(或唯一索引)的有序性,每次记住上一次查询的最后一条 ID,下一批只取 ID 更大的记录,直到取完。

这种方式可以避免使用 OFFSET 导致的大偏移量性能问题。

sql 示例:

复制代码
-- 第一批:取前 1000 条
SELECT * FROM user WHERE id > 0 ORDER BY id LIMIT 1000;
-- 假设结果中最大的 id 为 1000

-- 第二批:取 id > 1000 的下 1000 条
SELECT * FROM user WHERE id > 1000 ORDER BY id LIMIT 1000;
-- 依此类推
相关推荐
eleven_4u2 分钟前
QPS如何计算,如何部署架构
java·linux·运维·jvm·中间件
牧瀬クリスだ15 分钟前
Redis Hash实战:高效存储对象与购物车
java·数据库·redis·算法·哈希算法
文丑颜不良啊17 分钟前
LeetCode1141~1160题目解析
java·leetcode
木井巳22 分钟前
【动态规划: 路径问题】下降路径最小和
java·算法·leetcode·动态规划·推荐算法
秋饼36 分钟前
MySQL 分库分表完全指南:ShardingSphere-JDBC 实战、分片键选型、场景边界、20 个生产坑与 30 道面试点
java·mysql·面试·shardingsphere·分库分表·后端架构
郭小李41 分钟前
spring 的 @CookieValue 注解 用法
java·后端·spring
天远Date Lab1 小时前
零信任架构实战:基于天远企业股权变更构建自动化招投标供应商股东穿透审查网关
java·人工智能·架构·自动化
weixin_399380691 小时前
TongWeb7.0.4.9M11如何接入到idea(by lqw)
java·ide·intellij-idea
paopaokaka_luck1 小时前
社区服务平台(加权协同过滤推荐、Jieba中文词频分析、WebSocket实时聊天、求助处理闭环、 活动积分闭环、ECharts多维分析)
java·前端·spring boot·mysql·echarts·mybatis
.Bryce.2 小时前
T2-LLM评测不等于Agent评测
android·java·人工智能·后端·gpt·agent·1024程序员节