MySQL超大分页如何解决?

文章目录

  • [一、为什么 `LIMIT offset, size` 会慢到怀疑人生?](#一、为什么 LIMIT offset, size 会慢到怀疑人生?)
  • 二、解决思路总览(先看地图)
  • [三、王者方案:游标分页(Keyset Pagination)](#三、王者方案:游标分页(Keyset Pagination))
      • [1️⃣ SQL 示例(最推荐)](#1️⃣ SQL 示例(最推荐))
      • [2️⃣ 前端交互方式](#2️⃣ 前端交互方式)
      • [3️⃣ 优点](#3️⃣ 优点)
      • [4️⃣ 缺点](#4️⃣ 缺点)
    • 四、必须支持"跳页"?那就用覆盖索引
      • [1️⃣ 错误写法(慢)](#1️⃣ 错误写法(慢))
      • [2️⃣ 正确写法(两步走)](#2️⃣ 正确写法(两步走))
      • [3️⃣ 进一步优化(覆盖索引)](#3️⃣ 进一步优化(覆盖索引))

一、为什么 LIMIT offset, size 会慢到怀疑人生?

sql 复制代码
SELECT * FROM orders
ORDER BY id
LIMIT 1000000, 20;

MySQL 的真实工作流程不是"直接跳到第 100 万条",而是:

  1. 从第一行开始扫描

  2. 丢掉前 1,000,000 行

  3. 再取 20 行

👉 offset 越大,丢的数据越多

👉 即使有索引,也要一路扫过去

所以:
超大分页 = 扫描 + 丢弃 + 心态爆炸


二、解决思路总览(先看地图)

方案 适合场景 性能
游标分页(Keyset) 列表 / 无限滚动 ⭐⭐⭐⭐⭐
子查询 + 覆盖索引 必须跳页 ⭐⭐⭐⭐
记录最大页数 后台系统 ⭐⭐⭐
ES / Redis 搜索 / 复杂排序 ⭐⭐⭐⭐⭐

三、王者方案:游标分页(Keyset Pagination)

核心思想

👉 不要告诉数据库"我要第几页"

👉 告诉它"我要上一页最后一条之后的数据"

1️⃣ SQL 示例(最推荐)

sql 复制代码
SELECT *
FROM orders
WHERE id > 1000000
ORDER BY id
LIMIT 20;
  • id 必须是递增、有索引

  • 前端传 lastId,而不是 page

2️⃣ 前端交互方式

  • 第一次:不传 lastId

  • 下一页:传上一次返回的 lastId

sql 复制代码
{
  "lastId": 1000000,
  "pageSize": 20
}

3️⃣ 优点

  • 🚀 性能稳定,和第几页无关

  • 🚫 不扫描无用数据

  • ✅ MySQL 最擅长这种查询

4️⃣ 缺点

  • ❌ 不能随意跳到第 100 页

  • ❌ 不适合"精确页码"的产品经理审美

📌 结论

这是阿里、字节、美团后台列表的常规操作


四、必须支持"跳页"?那就用覆盖索引

如果产品经理坚持要"跳到第 500 页",那只能降低伤害

1️⃣ 错误写法(慢)

sql 复制代码
SELECT *
FROM orders
ORDER BY id
LIMIT 1000000, 20;

2️⃣ 正确写法(两步走)

sql 复制代码
SELECT *
FROM orders
WHERE id >= (
    SELECT id
    FROM orders
    ORDER BY id
    LIMIT 1000000, 1
)
ORDER BY id
LIMIT 20;

3️⃣ 进一步优化(覆盖索引)

sql 复制代码
SELECT o.*
FROM orders o
JOIN (
    SELECT id
    FROM orders
    ORDER BY id
    LIMIT 1000000, 20
) t ON o.id = t.id;
  • 子查询只扫索引

  • 回表次数极少

📌 注意

offset 再大也只是"相对能忍",不是本质解决


相关推荐
jiayou647 小时前
KingbaseES 实战:深度解析数据库对象访问权限管理
数据库
于眠牧北9 小时前
MySQL的锁类型,表锁,行锁,MVCC中所使用的临键锁
mysql
李广坤1 天前
MySQL 大表字段变更实践(改名 + 改类型 + 改长度)
数据库
Turnip12022 天前
深度解析:为什么简单的数据库"写操作"会在 MySQL 中卡住?
后端·mysql
爱可生开源社区2 天前
2026 年,优秀的 DBA 需要具备哪些素质?
数据库·人工智能·dba
随逸1772 天前
《从零搭建NestJS项目》
数据库·typescript
加号33 天前
windows系统下mysql多源数据库同步部署
数据库·windows·mysql
シ風箏3 天前
MySQL【部署 04】Docker部署 MySQL8.0.32 版本(网盘镜像及启动命令分享)
数据库·mysql·docker
李慕婉学姐3 天前
Springboot智慧社区系统设计与开发6n99s526(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库·spring boot·后端
百锦再3 天前
Django实现接口token检测的实现方案
数据库·python·django·sqlite·flask·fastapi·pip