一、为什么分页会慢?
sql
SELECT * FROM orders
ORDER BY id DESC
LIMIT 100000,10;
执行流程
扫描前 100010 行 → 丢弃 100000 行 → 返回 10 行
性能瓶颈本质:MySQL 分页 = 顺序扫描 + 丢弃
当 offset 很大:分页时间 = O(n)
| offset | 扫描行数 |
|---|---|
| 1k | 1010 |
| 10k | 10010 |
| 100k | 100010 |
| 1000k | 1000010 |
二、深分页本质剖析
sql
EXPLAIN SELECT * FROM orders ORDER BY id DESC LIMIT 100000,10;
典型结果:
| type | key | rows | Extra |
|---|---|---|---|
| index | PRIMARY | 100010 | Using index |
即使走索引,仍然需要扫描大量叶子节点
三、分页优化核心思想
减少扫描数据量,核心思路:
| 方案 | 本质 |
|---|---|
| 子查询 | 精准定位起点 |
| 游标分页 | 记住上一页位置 |
| 覆盖索引 | 减少回表 |
| 延迟关联 | 先筛选再 join |
| 业务裁剪 | 减少分页深度 |
四、5 大分页优化方案
- 方案 1:子查询定位法
原始分页
sql
SELECT * FROM orders
ORDER BY id DESC
LIMIT 100000,10;
优化写法
sql
SELECT *
FROM orders
WHERE id <= (
SELECT id FROM orders
ORDER BY id DESC
LIMIT 100000,1
)
ORDER BY id DESC
LIMIT 10;
性能对比:性能提升 100 倍+
| 方式 | 扫描行数 |
|---|---|
| 普通分页 | 100010 |
| 子查询分页 | 10 + 少量索引扫描 |
- 方案 2:游标分页
核心思想:不使用 offset,只用上一次最大 id
第一页
sql
SELECT * FROM orders
ORDER BY id DESC
LIMIT 10;
第二页
sql
SELECT * FROM orders
WHERE id < 100000
ORDER BY id DESC
LIMIT 10;
特点
| 优点 | 说明 |
|---|---|
| 性能极高 | 只扫描 10 行 |
| 稳定 | 与数据量无关 |
| 适合滚动加载 | 无限下拉 |
- 方案 3:覆盖索引 + 延迟回表
sql
SELECT * FROM orders
ORDER BY create_time DESC
LIMIT 100000,10;
优化思路
sql
SELECT *
FROM orders o
JOIN (
SELECT id
FROM orders
ORDER BY create_time DESC
LIMIT 100000,10
) t ON o.id = t.id;
优点
- 方案 4:业务分页裁剪
思路:禁止用户翻 1000 页
真实业务:
| 场景 | 分页深度 |
|---|---|
| 电商订单 | 前 100 页 |
| 聊天记录 | 最近 30 天 |
| 日志系统 | 最近 7 天 |
优化方式
sql
WHERE create_time > NOW() - INTERVAL 30 DAY
- 方案 5:搜索引擎替代(ES / ClickHouse)
当数据量 > 1000 万,MySQL 只做写入 + 精准查询
分页、排序交给:Elasticsearch、ClickHouse
五、分页性能对比实测
| 分页方式 | 100w 偏移 | 耗时 |
|---|---|
| 普通分页 | 3.8s |
| 子查询 | 80ms |
| 游标分页 | 3ms |
| 覆盖索引 | 50ms |
六、分页优化黄金公式
游标分页 > 子查询分页 > 覆盖索引 > 普通分页
七、分页 + 排序 + join 终极优化模板
sql
SELECT *
FROM orders o
LEFT JOIN users u ON o.uid = u.id
ORDER BY o.create_time DESC
LIMIT 100000,10;
终极优化写法
python
SELECT o.*, u.name
FROM (
SELECT id, uid
FROM orders
WHERE id < #{last_id}
ORDER BY id DESC
LIMIT 10
) t
JOIN orders o ON t.id = o.id
LEFT JOIN users u ON o.uid = u.id;
八、分页设计规范
- 禁止 offset 超过 5000
apache
offset <= 5000
- 强制游标分页
json
{
"last_id": 100000
}
- 接口设计规范
apache
GET /api/orders?cursor=100000&size=10
源码地址
1、找我要
如果您喜欢这篇文章,请您(点赞、分享、亮爱心),万分感谢!