SQL 复杂查询和性能优化

一、掌握复杂查询的核心技能

1. ​理解 SQL 执行顺序
  • SQL 语句的逻辑执行顺序(非书写顺序):

    复制代码
    FROM → JOIN → WHERE → GROUP BY → HAVING → SELECT → DISTINCT → ORDER BY → LIMIT
  • 关键点:每一步的结果会传递给下一步,影响优化逻辑。

2. ​多表连接(JOIN)​
  • 类型

    • INNER JOIN(默认)
    • LEFT/RIGHT JOIN
    • FULL OUTER JOIN(部分数据库不支持)
    • CROSS JOIN(笛卡尔积)
  • 示例

    复制代码
    SELECT u.name, o.order_id
    FROM users u
    LEFT JOIN orders o ON u.id = o.user_id
    WHERE o.amount > 100;
3. ​子查询与 CTE
  • 子查询

    复制代码
    SELECT name FROM users
    WHERE id IN (SELECT user_id FROM orders WHERE amount > 100);
  • CTE(公共表表达式)​

    复制代码
    WITH high_value_orders AS (
        SELECT user_id FROM orders WHERE amount > 100
    )
    SELECT u.name FROM users u
    JOIN high_value_orders hvo ON u.id = hvo.user_id;
  • 优势:CTE 可读性更好,支持递归查询。

4. ​窗口函数
  • 用途:在结果集的子集上计算聚合(不折叠行)。

  • 示例

    复制代码
    SELECT name, salary,
           RANK() OVER (PARTITION BY department ORDER BY salary DESC) AS rank
    FROM employees;
  • 常用函数

    • ROW_NUMBER(), RANK(), DENSE_RANK()
    • LEAD(), LAG()
    • SUM() OVER (PARTITION BY ...)
5. ​复杂条件与 CASE 语句
  • 动态分类

    复制代码
    SELECT name,
           CASE WHEN salary > 10000 THEN 'High'
                WHEN salary > 5000 THEN 'Medium'
                ELSE 'Low' END AS salary_level
    FROM employees;

二、性能优化核心技巧

1. ​分析执行计划
  • 使用 EXPLAIN

    复制代码
    EXPLAIN SELECT * FROM users WHERE email = '[email protected]';
  • 关键指标

    • Full Table Scan(全表扫描)→ 需要避免。
    • Index Scan(索引扫描)→ 理想情况。
    • Rows Removed by Filter → 过滤效率。
2. ​索引优化
  • 何时使用索引
    • 频繁作为查询条件的列(WHERE、JOIN、ORDER BY)。
    • 高选择性的列(唯一值多,如用户ID)。
  • 索引类型
    • 单列索引、复合索引、唯一索引、覆盖索引。
  • 复合索引设计
    • 将最常用的列放在前面。
    • 示例:INDEX (country, city) 可优化 WHERE country='US' AND city='NY'
3. ​避免全表扫描
  • 反例

    复制代码
    SELECT * FROM users WHERE YEAR(created_at) = 2023; -- 无法使用 created_at 的索引
  • 优化

    复制代码
    SELECT * FROM users
    WHERE created_at BETWEEN '2023-01-01' AND '2023-12-31';
4. ​分页优化
  • 低效写法

    复制代码
    SELECT * FROM users LIMIT 1000000, 10; -- 扫描前 100 万行
  • 优化

    复制代码
    SELECT * FROM users WHERE id > 1000000 ORDER BY id LIMIT 10;
5. ​减少数据传输量
  • 避免 SELECT *

    复制代码
    SELECT id, name FROM users; -- 只取必要字段
  • 分批次处理

    复制代码
    -- 使用 WHERE 条件分块处理大表
    DELETE FROM logs WHERE created_at < '2020-01-01' LIMIT 1000;
6. ​利用分区表
  • 按时间分区

    复制代码
    -- 按月份分区(具体语法因数据库而异)
    CREATE TABLE logs (
        id INT,
        log_time DATETIME,
        message TEXT
    ) PARTITION BY RANGE (YEAR(log_time), MONTH(log_time));
  • 优势:快速定位分区,减少扫描范围。


三、高级优化场景

1. ​JOIN 优化
  • 小表驱动大表

    复制代码
    -- 假设 users 是小表,orders 是大表
    SELECT * FROM users u
    JOIN orders o ON u.id = o.user_id;
  • 使用 STRAIGHT_JOIN(MySQL)​:强制指定 JOIN 顺序。

2. ​临时表与物化视图
  • 临时表

    复制代码
    CREATE TEMPORARY TABLE temp_high_salary AS
    SELECT * FROM employees WHERE salary > 10000;
  • 物化视图 :预计算复杂查询结果(如 PostgreSQL 的 MATERIALIZED VIEW)。

3. ​统计信息更新
  • 手动更新 (适用于数据变化大的表):

    复制代码
    ANALYZE TABLE users; -- MySQL
    VACUUM ANALYZE users; -- PostgreSQL
4. ​避免锁竞争
  • 使用乐观锁

    复制代码
    UPDATE products SET stock = stock - 1
    WHERE id = 100 AND stock > 0;
  • 分拆事务:将大事务拆分为小操作。


四、工具与调试

  1. 数据库管理工具
    • MySQL: EXPLAIN FORMAT=JSONSHOW PROFILE
    • PostgreSQL: EXPLAIN ANALYZEpg_stat_statements
  2. 监控工具
    • Prometheus + Grafana(监控慢查询、锁等待)。
  3. 基准测试
    • 使用 sysbench 或自定义脚本模拟负载。

五、常见误区

  1. 过度索引:索引会降低写入速度,需权衡。
  2. 忽略 NULL 值WHERE column = NULL 应改为 WHERE column IS NULL
  3. 滥用子查询:优先使用 JOIN 或 CTE。
  4. 不更新统计信息:导致优化器选择错误执行计划。
相关推荐
文牧之2 小时前
PostgreSQL 用户资源管理
运维·数据库·postgresql
Paraverse_徐志斌6 小时前
MySQL 线上大表 DDL 如何避免锁表(pt-online-schema-change)
数据库·mysql·ddl·mysql锁·锁表·pt-osc
哈哈幸运6 小时前
MySQL运维三部曲初级篇:从零开始打造稳定高效的数据库环境
linux·运维·数据库·mysql·性能优化
愚公搬代码7 小时前
【愚公系列】《Python网络爬虫从入门到精通》055-Scrapy_Redis分布式爬虫(安装Redis数据库)
数据库·爬虫·python
pwzs7 小时前
深入浅出 MVCC:MySQL 并发背后的多版本世界
数据库·后端·mysql
大熊猫今天吃什么7 小时前
【一天一坑】空数组,使用 allMatch 默认返回true
前端·数据库
双叶8367 小时前
(51单片机)LCD显示数据存储(DS1302时钟模块教学)(LCD1602教程)(独立按键教程)(延时函数教程)(I2C总线认识)(AT24C02认识)
c语言·数据库·单片机·嵌入式硬件·mongodb·51单片机·nosql
XY.散人8 小时前
初识Redis · C++客户端list和hash
数据库·redis·缓存
码上飞扬8 小时前
深入 MySQL 高级查询:JOIN、子查询与窗口函数的实用指南
数据库·mysql
海洋与大气科学9 小时前
【matlab】地图上的小图
开发语言·数据库·matlab