MySQL超大分页如何解决?

文章目录

  • [一、为什么 `LIMIT offset, size` 会慢到怀疑人生?](#一、为什么 LIMIT offset, size 会慢到怀疑人生?)
  • 二、解决思路总览(先看地图)
  • [三、王者方案:游标分页(Keyset Pagination)](#三、王者方案:游标分页(Keyset Pagination))
      • [1️⃣ SQL 示例(最推荐)](#1️⃣ SQL 示例(最推荐))
      • [2️⃣ 前端交互方式](#2️⃣ 前端交互方式)
      • [3️⃣ 优点](#3️⃣ 优点)
      • [4️⃣ 缺点](#4️⃣ 缺点)
    • 四、必须支持"跳页"?那就用覆盖索引
      • [1️⃣ 错误写法(慢)](#1️⃣ 错误写法(慢))
      • [2️⃣ 正确写法(两步走)](#2️⃣ 正确写法(两步走))
      • [3️⃣ 进一步优化(覆盖索引)](#3️⃣ 进一步优化(覆盖索引))

一、为什么 LIMIT offset, size 会慢到怀疑人生?

sql 复制代码
SELECT * FROM orders
ORDER BY id
LIMIT 1000000, 20;

MySQL 的真实工作流程不是"直接跳到第 100 万条",而是:

  1. 从第一行开始扫描

  2. 丢掉前 1,000,000 行

  3. 再取 20 行

👉 offset 越大,丢的数据越多

👉 即使有索引,也要一路扫过去

所以:
超大分页 = 扫描 + 丢弃 + 心态爆炸


二、解决思路总览(先看地图)

方案 适合场景 性能
游标分页(Keyset) 列表 / 无限滚动 ⭐⭐⭐⭐⭐
子查询 + 覆盖索引 必须跳页 ⭐⭐⭐⭐
记录最大页数 后台系统 ⭐⭐⭐
ES / Redis 搜索 / 复杂排序 ⭐⭐⭐⭐⭐

三、王者方案:游标分页(Keyset Pagination)

核心思想

👉 不要告诉数据库"我要第几页"

👉 告诉它"我要上一页最后一条之后的数据"

1️⃣ SQL 示例(最推荐)

sql 复制代码
SELECT *
FROM orders
WHERE id > 1000000
ORDER BY id
LIMIT 20;
  • id 必须是递增、有索引

  • 前端传 lastId,而不是 page

2️⃣ 前端交互方式

  • 第一次:不传 lastId

  • 下一页:传上一次返回的 lastId

sql 复制代码
{
  "lastId": 1000000,
  "pageSize": 20
}

3️⃣ 优点

  • 🚀 性能稳定,和第几页无关

  • 🚫 不扫描无用数据

  • ✅ MySQL 最擅长这种查询

4️⃣ 缺点

  • ❌ 不能随意跳到第 100 页

  • ❌ 不适合"精确页码"的产品经理审美

📌 结论

这是阿里、字节、美团后台列表的常规操作


四、必须支持"跳页"?那就用覆盖索引

如果产品经理坚持要"跳到第 500 页",那只能降低伤害

1️⃣ 错误写法(慢)

sql 复制代码
SELECT *
FROM orders
ORDER BY id
LIMIT 1000000, 20;

2️⃣ 正确写法(两步走)

sql 复制代码
SELECT *
FROM orders
WHERE id >= (
    SELECT id
    FROM orders
    ORDER BY id
    LIMIT 1000000, 1
)
ORDER BY id
LIMIT 20;

3️⃣ 进一步优化(覆盖索引)

sql 复制代码
SELECT o.*
FROM orders o
JOIN (
    SELECT id
    FROM orders
    ORDER BY id
    LIMIT 1000000, 20
) t ON o.id = t.id;
  • 子查询只扫索引

  • 回表次数极少

📌 注意

offset 再大也只是"相对能忍",不是本质解决


相关推荐
底层玩家老张16 分钟前
数据库上K8s,运维为什么反而更累了?从StatefulSet到Operator的复盘
数据库·kubernetes·operator·数据库运维·架构选型
Tisfy32 分钟前
LeetCode 2058.找出临界点之间的最小和最大距离:遍历+遇到极值则更新(这种题谁空间复杂度不是O(1)啊)
linux·数据库·leetcode·链表·题解·模拟·遍历
数据库小学妹36 分钟前
MySQL死锁排查:锁机制原理、死锁日志与information_schema定位
运维·数据库·mysql
2601_9673387137 分钟前
Text2SQL智能体基础到实战课程
数据库·oracle
CadeCode43 分钟前
Oracle 逗号拼接字段处理
数据库·后端·性能优化
Sirens.44 分钟前
MySQL数据库:视图
数据库·mysql
山岚的运维笔记1 小时前
mysql 专业笔记 -- 第 1 章:MySQL 入门
运维·数据库·笔记·后端·学习·mysql·dba
IT小白杨1 小时前
TikTok小店防封号浏览器实战:2026年多店铺环境隔离与账号安全运营技术解析
开发语言·数据库·安全·php·chrome devtools·指纹浏览器
祢真伟大1 小时前
Oracle含LOB大字段表的存储占用统计
数据库·oracle
Inhand-Victor1 小时前
从 CAN 总线到 AWS IoT:EC312 边缘计算网关实现 CAN 数据云端接入
数据库