[hive] sql中distinct的用法和注意事项

在 Hive SQL 中,DISTINCT 用于去重查询结果中的行。它返回唯一的行,消除结果集中的重复项。以下是 DISTINCT 的基本用法和一些注意事项:

基本用法:

sql 复制代码
-- 获取列1和列2的唯一组合
SELECT DISTINCT column1, column2 FROM your_table;

-- 获取整个表的唯一行
SELECT DISTINCT * FROM your_table;

注意事项:

  1. DISTINCT 和 NULL: DISTINCT 关键字会将包含 NULL 值的行视为相等,因此在去重时会将其中的一行过滤掉。如果你想要包含 NULL 值,需要使用 IS NULL 或 IS NOT NULL 条件。

    sql 复制代码
    -- 包含 NULL 值的情况
    SELECT DISTINCT column1 FROM your_table WHERE column2 IS NULL;
  2. 多列的去重: DISTINCT 可以同时应用于多列,返回唯一的组合。

    sql 复制代码
    SELECT DISTINCT column1, column2 FROM your_table;
  3. 排序和去重: DISTINCT 不会对结果进行排序。如果需要排序,可以在查询中使用 ORDER BY 子句。

    sql 复制代码
    -- 获取按照 column1 排序的唯一行
    SELECT DISTINCT * FROM your_table ORDER BY column1;
  4. 性能注意事项: 在大型数据集上使用 DISTINCT 可能涉及到数据的全局排序和去重,可能会导致性能开销较大。在某些情况下,你可能需要考虑其他方式来达到相似的效果,例如使用 GROUP BY。

    sql 复制代码
    -- 使用 GROUP BY 达到去重效果
    SELECT column1, MAX(column2) AS column2 FROM your_table GROUP BY column1;

总体而言,DISTINCT 是在 Hive SQL 中用于去重的常见关键字,但在处理大数据集时,你可能需要考虑性能方面的影响,并根据实际需求选择合适的方法。

相关推荐
Decay__9 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
星恒随风10 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
Decay__15 小时前
附 - 02・SQLServer 分库分表与中间件 —— 原生分区表、横向分库实践与联邦查询
运维·数据库·sql·mysql·架构
Decay__1 天前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy19902 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
codeejun2 天前
每日一Go·MySQL-15、慢查询日志实战分析(从 0 到 1 实战排查慢 SQL)
sql·mysql·golang
Decay__3 天前
SQLServer 监控体系构建 —— sql_exporter + Prometheus + Grafana 全栈实战
运维·数据库·sql·mysql·架构
演艺大赏3 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏3 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase