MySQL的深度分页及相关概念

文章目录

一、业务场景

mysql查询数据,数据量过大(百万级以上),分页查询数据的时候,比如每页1000条,到limit 5000000 1000的时候,就会很慢。为啥?怎么解决呢?

原因是:mysql底层会把前500w条数据都会回表查询,回表查询如果没有覆盖索引的话,那么本质是IO操作,即从磁盘里根据主键获取所有列的值,这个过程导致慢。

如何解决?

1、游标分页

前端传下lastId,我们根据前端传下来的这个参数直接在sql层利用lastId>的数据来查;(舍弃框架层比如mybatis-plus自带的底层是limit offset,pageSize 这种方式);

2、先查主键,在根据主键查对应的值。

避免回表。

3、其他方案? 待完善

主要看以下几个参考文档,写得不错,这里就不在赘述。

二、参考文档

MySQL百万数据深度分页优化思路分析

MySQL中什么是回表查询,如何避免和优化?

MySQL 中的回表是什么?

三、核心概念总结

索引:

聚簇索引、非聚簇索引、覆盖索引

聚簇索引:主键所以,primary key

非聚簇索引(二级索引):非主键索引,比如:唯一索引(unique index)、组合索引

覆盖索引:建立索引的字段和select 查询的字段一致,查询的时候不需要回表。这样的索引称之为覆盖索引。

回表: mysql查询时,先在索引树种根据已建立的索引查找到匹配到指定值的范围数据(ids),在根据ids(主键)去聚簇索引里查这行数据的所有列(这些数据是在磁盘上的,.ibd格式的文件,属于IO操作,耗时)。

索引下推 (ICP- Index Condition PushDown ):

在索引查询过程,先根据索引过滤掉大部分数据(索引建立要和查询条件一致,才能准确过滤和下推),避免大量无效数据回表,需要注意触发条件,可通过explain的Extra检测。

相关推荐
Database_Cool_6 小时前
OLTP 和 OLAP 区别详解:分析型数据库和事务型数据库怎么选(附阿里云 AnalyticDB MySQL 选型指南)
数据库·mysql·阿里云
Database_Cool_7 小时前
单机 MySQL 迁移到分布式数据库方便吗?阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移
数据库·分布式·mysql
姜太小白8 小时前
【MySQL】 索引优化实战:解决 WHERE 等值 + IS NULL 查询,TEXT 字段报错 1167 的完整指南
数据库·mysql
liuxiaowei39 小时前
【绝版教程】新版MySQL DBA高级实战进阶班 MySQL8.0 姜承尧-腾讯数据库总监
数据库·mysql·dba
sg_knight12 小时前
MySQL 存储过程详解:从入门到实战
android·数据库·mysql·database·dba·关系型数据库·db
Database_Cool_13 小时前
企业级多模态分析计算引擎选型:首选 AnalyticDB MySQL 向量 + SQL + 实时一体化方案
数据库·sql·mysql
宇宙第一小趴菜15 小时前
五、Oracle vs MySQL 架构深度对比笔记
mysql·oracle·架构
Database_Cool_17 小时前
云数据仓库开通指南:阿里云 AnalyticDB MySQL 10 分钟从 0 到分析实战教程
数据仓库·mysql·阿里云
—Miss. Z—19 小时前
计算机二级MySQL——简单应用题(事件&视图)
android·mysql·adb
会编程的土豆20 小时前
MySQL 中的 IN 和 EXISTS(零基础笔记)
数据库·笔记·mysql