高级SQL技巧 - 技术栈

高级SQL技巧涵盖了许多方面，包括但不限于窗口函数、递归查询、公共表表达式（CTEs）、子查询、集合操作、临时函数、日期时间操作、索引优化等。以下是对这些技巧的详细讲解和示例。

窗口函数

窗口函数是一种特殊的SQL函数，能够在一组行（称为窗口）上执行计算，但不会将结果合并到单个行中，这与聚合函数有所不同。窗口函数在处理排名、累计和运行总和等场景中非常有用。

基本语法

sql 复制代码

<窗口函数> OVER ([PARTITION BY <分区列>] [ORDER BY <排序列>])

PARTITION BY：用于将数据分成不同的组。
ORDER BY：用于定义计算的顺序。

常见的窗口函数

ROW_NUMBER()：为每一行分配一个唯一的序号。
RANK()：为每一行分配一个序号，序号间可能有跳跃。
DENSE_RANK()：为每一行分配一个序号，序号间无跳跃。
LEAD() 和 LAG()：访问同一组中前一行或后一行的数据。

示例

sql 复制代码

SELECT 
    employee_id,
    department_id,
    salary,
    ROW_NUMBER() OVER (PARTITION BY department_id ORDER BY salary DESC) AS row_num,
    RANK() OVER (PARTITION BY department_id ORDER BY salary DESC) AS rank,
    DENSE_RANK() OVER (PARTITION BY department_id ORDER BY salary DESC) AS dense_rank,
    LAG(salary, 1) OVER (PARTITION BY department_id ORDER BY salary DESC) AS previous_salary
FROM 
    employees;

递归查询

递归查询是一种自引用的查询方式，常用于处理树形结构的数据，如组织架构、目录结构等。

基本语法

sql 复制代码

WITH RECURSIVE cte_name AS (
    初始查询
    UNION ALL
    递归查询
)
SELECT * FROM cte_name;

示例

sql 复制代码

WITH RECURSIVE EmployeeCTE AS (
    SELECT 
        employee_id, 
        manager_id, 
        1 AS level 
    FROM 
        employees 
    WHERE 
        manager_id IS NULL
    UNION ALL
    SELECT 
        e.employee_id, 
        e.manager_id, 
        ecte.level + 1 
    FROM 
        employees e 
    INNER JOIN 
        EmployeeCTE ecte 
    ON 
        e.manager_id = ecte.employee_id
)
SELECT 
    employee_id, 
    employee_name, 
    level 
FROM 
    EmployeeCTE 
ORDER BY 
    level, 
    employee_id;

公共表表达式（CTEs）

CTE是一种临时的结果集，其定义只在单个查询的执行周期内有效。CTE能使复杂查询更易读、易维护。

基本语法

sql 复制代码

WITH cte_name AS (
    查询语句
)
SELECT * FROM cte_name;

示例

sql 复制代码

WITH SalesCTE AS (
    SELECT 
        employee_id, 
        SUM(amount) AS total_sales 
    FROM 
        sales 
    GROUP BY 
        employee_id
)
SELECT 
    employee_id, 
    total_sales 
FROM 
    SalesCTE 
WHERE 
    total_sales > 10000;

子查询

子查询是嵌套在另一个查询中的查询，可以在SELECT、WHERE、FROM、HAVING子句中使用。子查询常用于筛选条件、数据过滤等场景。

示例

sql 复制代码

SELECT 
    employee_id, 
    salary 
FROM 
    employees 
WHERE 
    salary > (SELECT AVG(salary) FROM employees);

集合操作

集合操作用于将两个或多个查询结果集进行合并或比较。常见的集合操作符包括UNION、INTERSECT、EXCEPT。

基本语法

sql 复制代码

SELECT column_list FROM table1
UNION [ALL]
SELECT column_list FROM table2;

SELECT column_list FROM table1
INTERSECT
SELECT column_list FROM table2;

SELECT column_list FROM table1
EXCEPT
SELECT column_list FROM table2;

示例

sql 复制代码

-- 合并两个查询结果集
SELECT name FROM customers
UNION
SELECT name FROM suppliers;

-- 找出两个查询结果集的交集
SELECT name FROM customers
INTERSECT
SELECT name FROM suppliers;

-- 找出只在第一个查询结果集中存在的记录
SELECT name FROM customers
EXCEPT
SELECT name FROM suppliers;

临时函数

在支持的数据库中（如PostgreSQL），可以定义临时函数（存储过程或函数）来封装复杂的逻辑，增强代码重用性。

示例（PostgreSQL）

sql 复制代码

CREATE OR REPLACE FUNCTION calculate_discount(price NUMERIC, discount_rate NUMERIC)
RETURNS NUMERIC AS $$
BEGIN
    RETURN price * (1 - discount_rate);
END;
$$ LANGUAGE plpgsql;

SELECT calculate_discount(100, 0.1);

日期时间操作

日期时间操作是数据库操作中必不可少的一部分。常见操作包括日期加减、日期格式转换等。

示例

sql 复制代码

-- 日期加减
SELECT NOW() + INTERVAL '1 day';
SELECT NOW() - INTERVAL '1 month';

-- 日期格式转换
SELECT TO_CHAR(NOW(), 'YYYY-MM-DD HH24:MI:SS');

索引优化

创建适当的索引可以显著提高查询性能。以下是一些索引优化的技巧：

对查询频繁使用的列创建合适的索引（单列索引、组合索引等）。
避免全表扫描：使用WHERE子句进行筛选，避免不必要的全表扫描。
使用EXPLAIN或EXPLAIN ANALYZE来查看SQL查询的执行计划：找到性能瓶颈。
对组合索引的选择：把选择性高的列放在索引的前面。

示例

sql 复制代码

-- 为department_id创建索引
CREATE INDEX idx_department_id ON employees(department_id);

-- 使用EXPLAIN查看查询执行计划
EXPLAIN SELECT name FROM employees WHERE department_id = 10;

其他高级技巧

只查询所需的列：减少返回的数据量。
自联结：一个表与自身进行联结，常用来处理相对数据（例如，父子关系、前后项比较等）。
高级过滤与排序技巧：使用正则表达式进行过滤，多条件排序等。
分页时使用LIMIT：对于大偏移量的查询，可以通过索引或缓存减少开销。
批量插入：可以显著减少IO和锁的开销。
视图：虽然视图会增加查询的复杂性和性能开销，但在某些情况下，它们可以提供一种简化查询的方式。然而，对于复杂查询，直接写SQL可能更为高效。
锁机制：使用适当的锁机制，避免全表锁（如LOCK IN SHARE MODE）。

高级SQL技巧的运用能够显著提高数据处理效率和查询性能。掌握这些技巧需要时间和实践，但一旦掌握，将对你的数据库操作和数据分析产生深远的影响。