MySQL超大分页如何解决?

文章目录

  • [一、为什么 `LIMIT offset, size` 会慢到怀疑人生?](#一、为什么 LIMIT offset, size 会慢到怀疑人生?)
  • 二、解决思路总览(先看地图)
  • [三、王者方案:游标分页(Keyset Pagination)](#三、王者方案:游标分页(Keyset Pagination))
      • [1️⃣ SQL 示例(最推荐)](#1️⃣ SQL 示例(最推荐))
      • [2️⃣ 前端交互方式](#2️⃣ 前端交互方式)
      • [3️⃣ 优点](#3️⃣ 优点)
      • [4️⃣ 缺点](#4️⃣ 缺点)
    • 四、必须支持"跳页"?那就用覆盖索引
      • [1️⃣ 错误写法(慢)](#1️⃣ 错误写法(慢))
      • [2️⃣ 正确写法(两步走)](#2️⃣ 正确写法(两步走))
      • [3️⃣ 进一步优化(覆盖索引)](#3️⃣ 进一步优化(覆盖索引))

一、为什么 LIMIT offset, size 会慢到怀疑人生?

sql 复制代码
SELECT * FROM orders
ORDER BY id
LIMIT 1000000, 20;

MySQL 的真实工作流程不是"直接跳到第 100 万条",而是:

  1. 从第一行开始扫描

  2. 丢掉前 1,000,000 行

  3. 再取 20 行

👉 offset 越大,丢的数据越多

👉 即使有索引,也要一路扫过去

所以:
超大分页 = 扫描 + 丢弃 + 心态爆炸


二、解决思路总览(先看地图)

方案 适合场景 性能
游标分页(Keyset) 列表 / 无限滚动 ⭐⭐⭐⭐⭐
子查询 + 覆盖索引 必须跳页 ⭐⭐⭐⭐
记录最大页数 后台系统 ⭐⭐⭐
ES / Redis 搜索 / 复杂排序 ⭐⭐⭐⭐⭐

三、王者方案:游标分页(Keyset Pagination)

核心思想

👉 不要告诉数据库"我要第几页"

👉 告诉它"我要上一页最后一条之后的数据"

1️⃣ SQL 示例(最推荐)

sql 复制代码
SELECT *
FROM orders
WHERE id > 1000000
ORDER BY id
LIMIT 20;
  • id 必须是递增、有索引

  • 前端传 lastId,而不是 page

2️⃣ 前端交互方式

  • 第一次:不传 lastId

  • 下一页:传上一次返回的 lastId

sql 复制代码
{
  "lastId": 1000000,
  "pageSize": 20
}

3️⃣ 优点

  • 🚀 性能稳定,和第几页无关

  • 🚫 不扫描无用数据

  • ✅ MySQL 最擅长这种查询

4️⃣ 缺点

  • ❌ 不能随意跳到第 100 页

  • ❌ 不适合"精确页码"的产品经理审美

📌 结论

这是阿里、字节、美团后台列表的常规操作


四、必须支持"跳页"?那就用覆盖索引

如果产品经理坚持要"跳到第 500 页",那只能降低伤害

1️⃣ 错误写法(慢)

sql 复制代码
SELECT *
FROM orders
ORDER BY id
LIMIT 1000000, 20;

2️⃣ 正确写法(两步走)

sql 复制代码
SELECT *
FROM orders
WHERE id >= (
    SELECT id
    FROM orders
    ORDER BY id
    LIMIT 1000000, 1
)
ORDER BY id
LIMIT 20;

3️⃣ 进一步优化(覆盖索引)

sql 复制代码
SELECT o.*
FROM orders o
JOIN (
    SELECT id
    FROM orders
    ORDER BY id
    LIMIT 1000000, 20
) t ON o.id = t.id;
  • 子查询只扫索引

  • 回表次数极少

📌 注意

offset 再大也只是"相对能忍",不是本质解决


相关推荐
nianniannnn9 小时前
Qt QMessageBox知识点
开发语言·数据库·qt
—Miss. Z—9 小时前
计算机二级MySQL——简单应用题(存储过程&存储函数)
数据库·oracle·php
Vect__10 小时前
MySQL 数据类型和约束:从字段设计到表结构建模
数据库·mysql
糖果店的幽灵10 小时前
langgraph的分支结构之 - 静态分支详解
java·服务器·数据库·langgraph
张人玉10 小时前
C# WinForms——工厂管理系统(C# WinForms)
数据库·sqlite·c#·winform
AC赳赳老秦11 小时前
招投标公开数据自动化采集实战:基于 OpenClaw 的定时抓取与业务关键词精准推送
运维·服务器·数据库·自动化·测试用例·deepseek·openclaw
后端优选官12 小时前
上海Agent开发公司:企业级智能体软件的技术架构与落地评估
数据库·人工智能·架构·软件开发·开发经验·上海
JustNow_Man12 小时前
`openspec/config.yaml` 解析与生效机制
数据库
Databend12 小时前
用 QUALIFY 写出更清晰的窗口函数 SQL
数据库·sql·数据分析
数智化管理手记12 小时前
应收应付资金占用过高怎么办?应收应付搭配账龄分析怎么做
大数据·网络·数据库·人工智能·数据挖掘