深分页问题

一、什么是深分页

limit 1000000, 10偏移量越大越慢,原理:MySQL 会先扫描前 1000010 行,丢弃前 1000000 行,只返回后 10 行,偏移越大,回表、排序、IO 开销爆炸。

二、最优常用优化方案(按推荐优先级)

  1. 主键 / 索引书签分页(最常用、性能最强)
    原理:不用偏移,用上一页最后一条 ID 做条件
sql 复制代码
-- 第一页
select * from t order by id limit 10;
-- 第二页:记住上一页最大 id = 100
select * from t where id > 100 order by id limit 10;

优点:走索引定位,毫秒级,千万级数据也稳适用:APP / 列表下拉翻页、有自增唯一有序字段

  1. 延迟关联(先查主键,再关联查详情)
    适合必须用 limit offset 场景
sql 复制代码
-- 慢写法
select * from t order by create_time limit 100000,10;

-- 优化写法:先只查主键,再关联
select t.* 
from t
join (select id from t order by create_time limit 100000,10) tmp 
on t.id = tmp.id
order by t.create_time;

原理:先在覆盖索引上扫少量主键,再回表,减少大量无效数据回表。

  1. 子查询定位起点
    这种方法可以看作是延迟关联的变种,它通过两次查询来避免大的 OFFSET。
    原理:第一次查询仅使用覆盖索引,通过 LIMIT offset, 1 获取目标分页位置那条记录的排序字段值。第二次查询则使用这个值作为 WHERE 条件的起点,来获取完整数据。
    示例:
sql 复制代码
-- 1. 先查出第 1000000 行的 create_time (利用覆盖索引)
SELECT create_time FROM t_order ORDER BY create_time LIMIT 1000000, 1;
-- 假设查出的值为 '2026-01-01 12:00:00'

-- 2. 再用该值作为起点查询完整数据
SELECT * FROM t_order
WHERE create_time >= '2026-01-01 12:00:00'
ORDER BY create_time
LIMIT 10;

优点:完全避免了 OFFSET,性能稳定。

缺点:需要两次数据库交互;排序字段必须有索引,否则第一步查询依然很慢。

  1. 覆盖索引优化
    排序、分页字段建立联合覆盖索引,避免回表例:按时间分页
sql 复制代码
create index idx_ct_id on t(create_time, id);

查询只查索引里有的字段,直接索引命中,不走数据行。

  1. 禁止大 offset,业务层限制

    业务上不允许用户跳到第 1000 页

    超过指定页数(如 100 页)提示:仅支持前 100 页查看

    产品层面解决技术难题,成本最低。

  2. 分区表分页(千万级大表)

    按时间范围做分区表(按天 / 按月)分页时自带裁剪分区,只扫描当前分区数据,不用扫全表。

  3. 业务归档 + 冷热分离

    历史冷数据归档到归档表,主表只保留近期热数据,主表数据量小,分页天生快。

  4. 用 Redis / ES 做分页检索

    复杂搜索、排序、深分页直接丢 Elasticsearch

    Redis 缓存列表有序集合,做下拉翻页

    适合搜索类、海量列表场景。

  5. 禁用 select *

    只查需要字段,减少网络传输、内存开销、提升覆盖索引命中率。

三、避坑关键点

order by 字段必须建索引,否则深分页必慢;

无索引排序会触发 filesort 文件排序,大数据量直接卡死;

limit offset,size offset 超过 1w 就应该优化;

分页一定要有唯一排序键(比如 id),避免排序重复导致数据错乱。

四、一句话选型

能改业务下拉翻页 → 书签分页(id > 上页最大 id)

必须跳页、不能改业务 → 延迟关联 + 覆盖索引

千万级大表 → 分区表 + 冷热归档

复杂检索排序 → ES 替代 MySQL 分页

相关推荐
2301_787312431 小时前
Vue.js中Patch过程处理Teleport组件挂载位置的特殊逻辑
jvm·数据库·python
dfdfadffa1 小时前
Golang Gin怎么做JWT登录认证_Golang Gin JWT教程【实用】
jvm·数据库·python
m0_736439301 小时前
C#怎么实现MVVM模式 C#如何在WPF中使用MVVM设计模式分离视图和逻辑【架构】
jvm·数据库·python
名字不好奇2 小时前
RAG进阶:下一代RAG怎么玩?
数据库·人工智能
zhoutongsheng2 小时前
Chromebook适合用什么HTML函数工具_轻量化方案汇总【汇总】
jvm·数据库·python
万事大吉CC2 小时前
【4】深入剖析 Django 之 MTV:ORM 系统核心原理
数据库·python·oracle·django·sqlite
ByteX2 小时前
MySQL 联合索引创建效果评估
数据库·mysql
逸Y 仙X2 小时前
文章二十五:ElasticSearch 分页查询
java·大数据·数据库·elasticsearch·搜索引擎·全文检索
今天长肉了吗2 小时前
风控指标平台实战:大数据量下如何设计分批处理
开发语言·数据库·python