游标分批查询,提高查询性能

大批量数据查询的方案

数据表,在查找大批量数据,或者滚动查询页面时,

如果使用全量查询,可能会因为查询时间过久,触发超时。

如果使用 LIMIT 分批查询,查到最后几页时,由于偏移量越来越大,查询会越来越慢。

数据表,在查找大批量数据,或者滚动查询页面时,可以使用游标分批查询。

游标分批查询

游标分批查询,也就是根据id 分批查找。

利用主键(或唯一索引)的有序性,每次记住上一次查询的最后一条 ID,下一批只取 ID 更大的记录,直到取完。

这种方式可以避免使用 OFFSET 导致的大偏移量性能问题。

sql 示例:

复制代码
-- 第一批:取前 1000 条
SELECT * FROM user WHERE id > 0 ORDER BY id LIMIT 1000;
-- 假设结果中最大的 id 为 1000

-- 第二批:取 id > 1000 的下 1000 条
SELECT * FROM user WHERE id > 1000 ORDER BY id LIMIT 1000;
-- 依此类推
相关推荐
wuqingshun3141596 小时前
什么是责任链模式,一般用在什么场景?
java·责任链模式
:-)6 小时前
算法-归并排序
java·开发语言·数据结构·算法·排序算法
wuqingshun3141597 小时前
说一下消息队列的模型有哪些?
java
fīɡЙtīиɡ ℡8 小时前
布隆过滤器
java
yaoxin5211238 小时前
462. Java 反射 - 获取声明类与封闭类
java·开发语言·python
wuqingshun31415910 小时前
MYSQL的乐观锁和悲观锁是什么?
java
唐青枫11 小时前
Java SLF4J 实战指南:从日志门面到 Logback、MDC 和链路追踪
java
jvmind_dev11 小时前
Java GC 实战指南(番外篇):被忽视的隐形杀手 —— Class Unloading 如何拖垮 GC
java·后端
An_s11 小时前
机器学习python之识别图中物品信息
java·linux·开发语言
AIGS00112 小时前
跨越语义鸿沟:企业本体语义平台的构建与落地
java·人工智能·python·机器学习·人工智能ai大模型应用