order by除了加索引,我们还可以怎么优化?

大家好,我是小趴菜,在平常业务中,排序是一个十分常见的需求,但是有些时候,因为一些操作导致我们排序的效率特别的低下,这时候我们通常会给排序的字段添加索引来解决,除了给排序字段添加索引,我们是否还有其它的优化手段呢?

order by原理

既然要优化,那么我们就必须要明白order by的底层原理是怎么样的

js 复制代码
select * from t_user where id > 10 order by age;
  • 1:MySql会根据where条件查询出所有符合条件的记录
  • 2:将查询的结果集放入sort_buffer中(排序内存)
  • 3:对中间结果集按照ORDER BY字段排序
  • 4:回表生成完整的结果集(如果需要)

以上就是我们在执行上述SQL要执行的步骤,也是ORDER BY的实现原理,那么我们要优化的地方有以下几点

优化点一:中间结果集

MySql首先会按照where条件查询出所有符合条件的记录,然后将结果集放入sort_buffer中,但是这里要注意的是,sort_buffer是有大小限制的,如果你的中间结果集大于这个sort_buffer的大小,那么这个中间集就不会放入内存中进行排序,而是放在硬盘中了。

我们都知道在内存中排序比在硬盘中排序效率是高出特别多的,我们可以使用 *show variables like '%sort_buffer_size%';*来查看sort_buffer的大小

所以当你的内存足够大的时候,我们可以适当调大sort_buffer的大小,让数据尽可能的在内存中排序,而不是进入到硬盘中

优化点二: 回表生成完整结果集

我们看最后一步,如果需要ORDER BY需要回表生成结果集,什么是回表呢?就是拿到这条记录的主键ID,到主键索引中找到整条记录。

比如说,我们一张表有一百多个字段,这时候我们需要把这一百多个字段都查询出来的,那么这时候,中间结果集可能不会有所有的字段,而是排序字段+主键,举个例子,如下,假设我们t_user表有一百多个字段

js 复制代码
select * from t_user where id > 10 order by age;

这时候首先会按照where条件查询出中间结果集,但是这时候的中间结果集可能不会有所有的字段,而是只有age+id二个字段,等排序结束以后,再拿主键回表查询整条记录,所以就造成了回表。

当要查询的字段小于这个阈值的时候,中间结果集就把所有字段都查出来,后续也就不需要回表了。但是当大于这个阈值的时候,就需要回表了

但是不能无脑的把这个值调大,来避免回表,还记得优化点一吗?? 如果你中间结果集太大,就不会在内存中进行排序,而是在硬盘中排序了。

总结

除了以上几点,我们最好是能使用到覆盖索引,这样就不用生成中间结果集中,可以直接输出结果了。

相关推荐
mldong1 小时前
给若依加审批流,不用 Flowable
java·spring boot·架构
考虑考虑3 小时前
数据库中的EXISTS
运维·数据库·后端
Wang's Blog3 小时前
Java框架快速入门: Spring Security+OAuth2之数据库和实体类的RBAC改造
java·数据库·spring
讳疾忌医丶3 小时前
深度拆解 RocksDB 内核:基于 C++17 的 FIFO 调度状态机与温度阶梯自愈设计
java·c++·算法·架构
郑州光合科技余经理4 小时前
国际版外卖系统:税率字段怎么和订单主流程解耦
android·java·开发语言·前端·后端·php·ai编程
毅炼4 小时前
Rover-Suite 开源发布:轻量服务注册中心与网关一体化方案
java·后端·系统架构·gateway
梦想平凡4 小时前
百游棋牌源代码开发搭建教程(十):隔离部署、备份恢复与双端验收
java·前端·javascript·数据库·源代码管理
xcLeigh5 小时前
让大模型长出手脚,自己写SQL查数据库(Function Calling初探)
数据库·人工智能·sql·时序数据库·timechoai
yume_sibai5 小时前
06-Rust Web 开发实战(Axum 框架 + 数据库 + JWT 认证 + 中间件 + 部署)
前端·数据库·rust
sunshine22 girl6 小时前
Idea中如何搜索
java·ide·intellij-idea