MySQL 中 DISTINCT 去重的核心注意事项详解

以下是 MySQL 中 DISTINCT 去重的核心注意事项详解


📌 DISTINCT 六大注意事项

1. 作用范围:所有 SELECT 字段
sql 复制代码
SELECT DISTINCT a, b FROM table;  -- 对(a,b)组合整体去重

⚠️ 误以为只作用于第一个字段:

sql 复制代码
-- 错误理解:以为只对name去重
SELECT DISTINCT name, class FROM students;  

实际效果 :对 (name, class) 组合去重(如 ('张三','一班') 和 ('张三','二班') 算不同记录)


2. NULL 值的特殊处理
sql 复制代码
INSERT INTO students (name, class, score) VALUES (NULL, '三班', 90);

SELECT DISTINCT name FROM students;

结果:

复制代码
+--------+
| name   |
+--------+
| 张三   |
| 李四   |
| 王五   |
| NULL   |  -- NULL被视为独立值保留
+--------+

3. 性能陷阱(大数据量)
sql 复制代码
-- 当表有百万行时慎用
SELECT DISTINCT text_column FROM huge_table; 

优化方案:

sql 复制代码
-- 先通过WHERE缩小范围再去重
SELECT DISTINCT text_column 
FROM huge_table 
WHERE create_time > '2023-01-01';

-- 或添加索引(对text类型有限制)
ALTER TABLE huge_table ADD INDEX idx_text(text_column(20)); -- 前缀索引

4. 与 ORDER BY 的优先级
sql 复制代码
SELECT DISTINCT class 
FROM students 
ORDER BY score DESC; -- 错误!score不在SELECT中

✅ 正确写法:

sql 复制代码
-- 方案1:排序字段必须在SELECT中
SELECT DISTINCT class, MAX(score) AS max_score 
FROM students 
GROUP BY class 
ORDER BY max_score DESC;

-- 方案2:子查询
SELECT DISTINCT class FROM (
  SELECT class, score FROM students ORDER BY score DESC
) AS tmp;

5. 聚合函数中的 DISTINCT
sql 复制代码
-- 统计不重复的班级数量
SELECT COUNT(DISTINCT class) FROM students; 

-- 错误用法(语法无效):
SELECT DISTINCT COUNT(class) FROM students; 

6. 不可用于部分字段计算
sql 复制代码
-- 尝试计算不同班级的平均分(错误!)
SELECT DISTINCT class, AVG(score) FROM students; 

✅ 正确做法 :必须配合 GROUP BY

sql 复制代码
SELECT class, AVG(score) 
FROM students 
GROUP BY class;  -- 这才是标准解法

⚠️ 高级注意点

7. 与 LIMIT 的配合问题
sql 复制代码
SELECT DISTINCT class FROM students LIMIT 2;

结果不确定性 :

返回的 2 条记录是随机 的(除非指定 ORDER BY),不同执行可能结果不同。


8. 临时表空间占用
  • DISTINCT 操作会在内存/磁盘创建临时表存储唯一值
  • 当去重字段总数据量超过 tmp_table_size 时,性能急剧下降

查看阈值:

sql 复制代码
SHOW VARIABLES LIKE 'tmp_table_size'; -- 默认16MB

🔍 对比 GROUP BY 去重

特性 DISTINCT GROUP BY
是否可搭配聚合函数 ❌ ✅ (如SUM/AVG)
结果排序 无序 可按分组键排序
执行效率 简单场景更快 复杂聚合时更优
索引利用 可使用索引 必须用分组字段索引

✅ 最佳实践总结

  1. 小数据量 :直接 DISTINCT 简洁高效
  2. 需要聚合计算 :用 GROUP BY 替代
  3. 精确去重计数 :优先 COUNT(DISTINCT column)
  4. 排序需求 :必须显式写 ORDER BY
  5. 超大数据:先过滤再去重 + 合理索引

🚀 实战检验

订单表 orders 结构:

sql 复制代码
CREATE TABLE orders (
    id INT PRIMARY KEY,
    product_id INT,
    user_id INT,
    amount DECIMAL(10,2),
    coupon_code VARCHAR(20) -- 允许为NULL
);

问题 :

如何高效获取使用过不同优惠券的用户ID列表(含NULL)?

sql 复制代码
👉 写出你的解决方案:
SELECT _______________________________
FROM orders;

答案(折叠):

sql 复制代码
-- 方案1:基础写法
SELECT DISTINCT user_id, coupon_code 
FROM orders 
WHERE coupon_code IS NOT NULL; -- 若需包含NULL则去掉WHERE

-- 方案2:大数据量优化(添加联合索引)
ALTER TABLE orders ADD INDEX idx_user_coupon(user_id, coupon_code);
SELECT DISTINCT user_id, coupon_code FROM orders;
相关推荐
纆兰1 小时前
MySQL的多表查询
数据库·mysql
七夜zippoe1 小时前
Nexent 模型配置:4 字段与 9 个槽位
数据库·人工智能·模型·nexent
进击的荆棘1 小时前
MySQL——表的操作
数据库·mysql
小番茄程序猿2 小时前
一条 ALTER 拖死全表:MDL 阻塞的完整时间线(8.4.11 实测)
后端·mysql
nice_lcj5203 小时前
MySQL 慢查询与 EXPLAIN:怎么定位、怎么优化
java·数据库·后端·mysql
OceanRoy13 小时前
数据库表的设计
数据库·内连接·外连接·er图·表的约束·三大范式·多表连接
Pniubi14 小时前
怎么排查慢SQL,怎么解决?
java·数据库·sql
Decay__18 小时前
VMware 安装 SQL Server 双节点 AlwaysOn 可用性组教程 —— WSFC、AG 与侦听器完整部署(系列核心篇)
运维·数据库·sql·mysql·架构
茶栀(*´I`*)18 小时前
SQL 性能分析:从慢查询日志到执行计划的完整定位方法
数据库·sql
艺杯羹19 小时前
1Panel 装好后 ufw 仍是 inactive:一次服务器安全盲区复盘
服务器·数据库·安全·网络安全·系统架构·实战·1panel