HiveSQL 中的集合运算

在大数据分析过程中，整合多源数据的需求十分常见，此时集合运算发挥着关键作用。本文将重点介绍HiveSQL中的集合运算方法，助力数据分析师高效完成复杂的数据整合工作。

为什么需要集合运算？

假设你手头有来自多个业务系统的用户数据，包括App、Web端和小程序等。当前需求是：

• 统计全平台的独立用户数
• 找出同时使用App和Web的高价值用户
• 分析只通过Web访问但从未下载App的用户特征

这正是集合运算的典型应用场景。熟练掌握HiveSQL的集合运算，可以让你高效处理这类复杂的数据整合需求。HiveSQL提供了三大核心集合运算符：UNION（并集）、INTERSECT（交集）和EXCEPT（差集，在某些数据库中也被称为MINUS）。

三大核心集合运算符详解

1. UNION/UNION ALL： 数据的"加法"运算

UNION ALL​ 是最常用的集合运算符，它简单地将两个查询结果合并，不做任何去重处理。在Hive中，这是一个非常高效的操作，因为它避免了复杂的Shuffle和Reduce过程。

-- 合并2024年和205年的订单数据
SELECT order_id, user_id, amount, '2024' as year 
FROM orders_2023
UNION ALL
SELECT order_id, user_id, amount, '2025' as year
FROM orders_2024;

性能小贴士：UNION ALL的性能远优于 UNION。如果你能确定数据没有重复，或者不在乎重复数据，请优先使用 UNION ALL。

UNION​ 则会在合并后自动去重。这个操作会触发Reduce任务，可能会比较耗时：

-- 获取全平台的去重用户ID
SELECT user_id FROM app_users
UNION
SELECT user_id FROM web_users;

实际应用场景：

合并多个分区的数据 整合来自不同数据源但结构相同的数据 创建历史数据快照

注：

两个查询的列数必须相同

对应列的数据类型要兼容

默认按第一个查询的列名显示结果

2. INTERSECT：寻找数据的"交集"

INTERSECT用于找出同时存在于两个数据集中的记录。这就像数学中的集合交集操作。

-- 找出既购买过电子产品又购买过书籍的用户
SELECT user_id FROM orders_electronics
INTERSECT
SELECT user_id FROM orders_books;

重要提示：

Hive 2.2.0及以上版本才原生支持INTERSECT。如果你的Hive版本较老，可以使用以下

替代方案：

-- 使用JOIN实现INTERSECT功能
SELECT DISTINCT a.user_id
FROM orders_electronics a
INNER JOIN orders_books b ON a.user_id = b.user_id;
 
-- 使用EXISTS实现
SELECT DISTINCT user_id
FROM orders_electronics a
WHERE EXISTS (
    SELECT 1 FROM orders_books b 
    WHERE a.user_id = b.user_id
);

3. EXCEPT：找出数据的"差集"

EXCEPT返回只存在于第一个查询结果中，但不存在于第二个查询结果中的记录。在某些数据库中，这个操作也叫MINUS。

-- 找出注册了但从未下过单的用户
SELECT user_id FROM registered_users
EXCEPT
SELECT user_id FROM order_users;

同样，对于Hive 2.2.0以下的版本，我们可以用其他方式实现：

-- 使用LEFT JOIN实现EXCEPT功能
SELECT a.user_id
FROM registered_users a
LEFT JOIN order_users b ON a.user_id = b.user_id
WHERE b.user_id IS NULL;
 
-- 使用NOT IN实现（注意NULL值处理）
SELECT user_id
FROM registered_users
WHERE user_id NOT IN (
    SELECT user_id FROM order_users 
    WHERE user_id IS NOT NULL
);

集合运算的黄金法则

法则1：结构一致性

所有参与集合运算的查询必须具有相同的列数和兼容的数据类型。列名可以不同，最终结果集的列名会采用第一个查询的列名。

-- 正确的写法
SELECT user_id, username, 'app' as source FROM app_users
UNION ALL
SELECT user_id, username, 'web' FROM web_users;
 
-- 错误的写法：列数不匹配
SELECT user_id, username, age FROM table_a
UNION ALL
SELECT user_id, username FROM table_b; -- 这里会报错！

法则2：理解执行顺序

集合运算符默认按书写顺序从左到右执行。如果需要改变执行顺序，必须使用括号。

-- 先合并A和B，再与C取交集
(SELECT * FROM table_a
 UNION ALL
 SELECT * FROM table_b)
INTERSECT
SELECT * FROM table_c;

法则3：慎用ORDER BY和LIMIT

在集合运算中使用ORDER BY和LIMIT时要注意作用范围：

-- 这个查询在大多数情况下不会按预期工作
SELECT * FROM table_a
UNION ALL
SELECT * FROM table_b
ORDER BY create_time DESC
LIMIT 100;
 
-- 正确的写法：先限制各子查询结果，再合并
(SELECT * FROM table_a ORDER BY create_time DESC LIMIT 50)
UNION ALL
(SELECT * FROM table_b ORDER BY create_time DESC LIMIT 50)
ORDER BY create_time DESC
LIMIT 100;

性能优化实战技巧

技巧1：能用UNION ALL就不用UNION

-- 不推荐的写法
SELECT user_id FROM logs_202401
UNION
SELECT user_id FROM logs_202402
UNION
SELECT user_id FROM logs_202403;
 
-- 推荐的写法：先合并再去重
SELECT DISTINCT user_id FROM (
    SELECT user_id FROM logs_202401
    UNION ALL
    SELECT user_id FROM logs_202402
    UNION ALL
    SELECT user_id FROM logs_202403
) t;

技巧2：合理使用Map-side优化

对于特定的集合运算，可以考虑在Map端进行部分聚合，减少Shuffle数据量：

-- 在子查询中先进行去重
SELECT DISTINCT user_id FROM (
    SELECT DISTINCT user_id FROM table_a
    UNION ALL
    SELECT DISTINCT user_id FROM table_b
) t;

技巧3：利用分区和索引

如果涉及的表有分区，确保在WHERE条件中使用分区字段，减少扫描的数据量：

SELECT user_id FROM logs WHERE dt = '2025-01-01'
UNION ALL
SELECT user_id FROM logs WHERE dt = '2025-01-02';

实战案例：用户行为分析

假设我们有三个表，分别记录了用户在不同平台的行为：

-- 创建示例表
CREATE TABLE app_clicks (
    user_id BIGINT,
    click_time TIMESTAMP,
    page_url STRING
);
 
CREATE TABLE web_clicks (
    user_id BIGINT,
    click_time TIMESTAMP,
    page_url STRING
);
 
CREATE TABLE app_users (
    user_id BIGINT,
    reg_time TIMESTAMP,
    device STRING
);

场景1：分析全平台用户行为

-- 合并App和Web的点击流
SELECT user_id, click_time, page_url, 'app' as platform
FROM app_clicks
UNION ALL
SELECT user_id, click_time, page_url, 'web'
FROM web_clicks;

场景2：找出全渠道活跃用户

-- 同时在App和Web都有行为的用户
SELECT user_id FROM app_clicks
INTERSECT
SELECT user_id FROM web_clicks;

场景3：分析单一渠道用户

-- 只使用Web，不使用App的用户
SELECT user_id FROM web_clicks
EXCEPT
SELECT user_id FROM app_clicks;

常见问题与解决方案

问题1：数据类型不匹配

-- 错误：user_id类型不一致
SELECT CAST(user_id AS STRING) as uid FROM table_a
UNION ALL
SELECT user_id FROM table_b;  -- 这里user_id是BIGINT
 
-- 解决方案：显式转换数据类型
SELECT CAST(user_id AS STRING) as uid FROM table_a
UNION ALL
SELECT CAST(user_id AS STRING) FROM table_b;

问题2：NULL值处理

集合运算中的NULL值需要特别注意：

-- INTERSECT和EXCEPT会正确处理NULL值
-- 但NOT IN对NULL值敏感
SELECT user_id FROM table_a
WHERE user_id NOT IN (
    SELECT user_id FROM table_b
    -- 如果table_b.user_id可能有NULL，需要过滤
);

问题3：大表关联的性能问题

当使用JOIN模拟集合运算时，如果表很大，考虑使用MapJoin：

-- 设置MapJoin优化
SET hive.auto.convert.join=true;
SET hive.mapjoin.smalltable.filesize=25000000;
 
SELECT /*+ MAPJOIN(b) */ a.user_id
FROM big_table a
LEFT JOIN small_table b ON a.user_id = b.user_id
WHERE b.user_id IS NULL;

总结

HiveSQL的集合运算为数据分析师提供了强大的数据整合能力。记住以下几点：

• 要合并数据 → 用 或 UNIONUNION ALL
• 要找共同点 → 用 INTERSECT
• 要找不同点 → 用 EXCEPT
• 要提高性能 → 优先考虑 UNION ALL

注：

选择合适运算符：根据是否需要去重，选用UNION（去重）或UNION ALL（不去重）

版本兼容性提示：INTERSECT和EXCEPT运算符要求Hive版本在2.2.0及以上

特殊情况处理：需特别注意NULL值的处理及数据类型转换问题

集合运算看似简单，但在实际的大数据场景中，合理使用这些运算符能显著提升查询效率和代码可读性。希望这篇指南能帮助你在日常工作中更加游刃有余地处理数据整合任务！