MySQL 查询优化思路

在统计的时候尝尝遇到过查询数据量大的情况,SQL会超时

下面是一些解决方案 (未经本人允许不得转载)

1、索引

sql 复制代码
	加完看索引是否生效(一般情况都是普通索引+tree)
	创建联合索引(注意顺序)

2、 SQL语句

重新审视逻辑把没用的表连接删除掉,然后是修改join的方式。inner join 是最快的

3、增加中间表

为了方便查询可以增加中间表,或者直接在旧表上面新建字段。

临时统计时,如果原有表数据量太大,可以按照时间条件把要用的数据先导出成excel然后在导入一张新表

4、修改MySQL的配置信息

比如下面这些信息(真实情况更为复杂根据实际需求调整对应的参数)

sql 复制代码
SET SESSION join_buffer_size = 262144;  -- 临时将join_buffer_size设置为256KB
SET SESSION sort_buffer_size = 2097152;  -- 临时将sort_buffer_size设置为2MB
SET SESSION optimizer_search_depth = 8;  -- 临时设置优化器搜索深度为8
SET SESSION max_join_size = 1000000;  -- 临时允许联接的最大行数为1,000,000行
SET SESSION sql_big_selects = 1;  -- 临时允许执行大型查询

题外话

导入/更新数据特别多特别慢的时候,可以采用拼接SQL的方式

根据参数拼接成update/insert 语句然后使用navicat执行。主要要勾选autocommit=0,还有就是一个运行里面允许多个查询这样的操作一般不会出问题,不过也有可能因为网络波动什么的导致数据丢失。

代码方面:可以采用多线程、异步处理、写入数据库的时候分批次插入

相关推荐
Decay__4 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
田超凡5 小时前
深入理解MySQL_经典问题总结2
mysql·java-ee
FungLeo7 小时前
FengCMS · PHP+MySQL 升级实录 · 危险默认值之殇:root/123456、认证码 8888 写进配置加载器
android·mysql·php·安全加固·fengcms
琳少_9 小时前
java程序开发笔记
java·开发语言·数据库·笔记
ZhengEnCi9 小时前
覆盖索引怎么设计:从回表代价到 MySQL 与 PostgreSQL 的落地写法
sql·mysql·postgresql
FungLeo11 小时前
FengCMS · PHP+MySQL升级实录 ·并发一致性连环坑:模板缓存、排队保存、备份恢复的竞态
mysql·缓存·php·工程实践·fengcms
Pocker_Spades_A12 小时前
工业物联网时序数据库选型:一份能直接抄走的技术规格书
数据库·物联网·时序数据库
苜蓿muxu12 小时前
缓存三大问题:穿透、击穿、雪崩
数据库·redis
FungLeo13 小时前
FengCMS · PHP+MySQL 升级实录·模型导入从“加密 SQL 码“到.fengmodel.json
sql·mysql·php·工程实践·fengcms
正在走向自律13 小时前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移