SQL_优化

1 SQL优化

(1) 数据读取

①分区裁剪:使用时只读取需要的分区.

②列裁剪:读取操作(select、where、join、group by、sort by等),不读取不需要的列,减少IO消耗.

(2) 数据筛选

①分区先过滤,区分度大的字段先过滤.

②不在筛选字段上使用函数和表达式.

(3) 分组聚合

①使用窗口函数时,排序键区分度大的放在前面.

②数据量大时,用group by替代distinct.

(4) join

①减少不必要的关联字段.

②关联字段有用函数等处理时,可先处理好字段再关联.

③关联键区分度大的先执行.

④多表关联时,能减少数据量的表先关联.

(5) 索引

合理设置索引,再使用时避免索引失效.

(6) 整体

①将复杂查询分解为多个简单查询.

②将重复计算的结果存储在变量或临时表中.

2 结构优化

(1) 字段

①减少单表字段数.

②整数尽量用短的类型.

③可用枚举或者整数代替字符串类型.

3 资源优化

①调整内存参数:如缓冲池大小、缓存大小等.

②调整连接池:优化数据库连接池的大小和配置.

4 针对性优化

优化MySQL:从单表到高阶策略的全方位优化指南-CSDN博客https://blog.csdn.net/weixin_43875878/article/details/125927373Hive_优化/问题-CSDN博客文章浏览阅读2次。①除了需要导入数据表使用textfile外,表的存储格式使用orc 和 parquet.https://blog.csdn.net/weixin_43875878/article/details/145882724

相关推荐
KaiwuDB8 分钟前
使用Docker实现KWDB数据库的快速部署与配置
数据库·docker
一只fish30 分钟前
MySQL 8.0 OCP 1Z0-908 题目解析(16)
数据库·mysql
泊浮目1 小时前
未来数据库硬件-网络篇
数据库·架构·云计算
静若繁花_jingjing1 小时前
Redis线程模型
java·数据库·redis
叁沐2 小时前
MySQL 07 行锁功过:怎么减少行锁对性能的影响?
mysql
Java烘焙师2 小时前
架构师必备:业务扩展模式选型
mysql·elasticsearch·架构·hbase·多维度查询
飞翔的佩奇3 小时前
Java项目:基于SSM框架实现的忘忧小区物业管理系统【ssm+B/S架构+源码+数据库+毕业论文+开题报告】
java·数据库·mysql·vue·毕业设计·ssm框架·小区物业管理系统
@Ryan Ding3 小时前
MySQL主从复制与读写分离概述
android·mysql·adb
ZWZhangYu9 小时前
LangChain 构建向量数据库和检索器
数据库·langchain·easyui
feifeigo12310 小时前
升级到MySQL 8.4,MySQL启动报错:io_setup() failed with EAGAIN
数据库·mysql·adb