HIVE 窗口函数处理重复数据

窗口函数row_number(),结合OVER子句中的PARTITION BYORDER BY,为数据分组内的每一行生成一个唯一的序号。具体分析如下:

函数作用:

  • row_number():为每个分组内的行分配一个唯一的连续序号(从1开始)。

OVER子句详解:

  1. PARTITION BY t1.org_code, t1.customer_code

    • 将数据按 org_code(机构代码)和 customer_code(客户代码) 分组。

    • 窗口计算会独立发生在每个分组内

  2. ORDER BY t1.id DESC

    • 在每个分组内,按 id 字段降序排列 (即 id 值最大的排在最前面)。

    • 序号分配基于此排序:最大的 id 对应 rank=1,次大的 id 对应 rank=2,以此类推

结果列名:

  • 生成的序号列名为 rank(可在后续查询中通过此名称引用)。

典型使用场景示例:

复制代码
SELECT *
FROM (
    SELECT 
        t1.*,
        ROW_NUMBER() OVER (
            PARTITION BY t1.org_code, t1.customer_code
            ORDER BY t1.id DESC
        ) AS rank
    FROM your_table t1
) subquery
WHERE rank = 1; -- 获取每个分组内最新的一条记录(id最大)

注意事项:

  • 若需要完全去重 (如多行 id 相同时只取一条),优先用 ROW_NUMBER()

  • 若需保留相同 id 的所有记录 ,改用 RANK()DENSE_RANK()

  • 性能:在分区字段(org_code, customer_code)和排序字段(id)上建立索引可加速计算。

相关推荐
SeaTunnel4 分钟前
Redis 数据迁移不用写脚本:SeaTunnel 支持 String、Hash、Set、ZSet 四种数据类型
数据库·redis·哈希算法·数据迁移·seatunnel·数据同步
晊晌_h8 分钟前
嵌入式从0到精通——SQLite3 数据库
数据库·sqlite·sqlite3
海浪仙人掌20 分钟前
账龄分析怎么操作?账龄分析实施流程有哪些步骤?
数据库
楚枫默寒23 分钟前
Oracle AWR 自动巡检报告
数据库·oracle
吉甫作诵23 分钟前
Oracle 19c 常用运维命令大全
运维·数据库·oracle
宗介波妞31 分钟前
主站与场站多业务链路通断测试实战指南(电力自动化联调)
网络·数据库
邪修king40 分钟前
MySQL数据库(二):操作详解:从创建、查看到备份恢复
数据库·mysql
tryxr41 分钟前
Chat2Excel 项目用户服务开发
java·数据库·java项目·用户服务开发
kiss strong1 小时前
redis服务器登录(内网环境,无法使用客户端)
数据库·redis·缓存
志栋智能1 小时前
运维超自动化中的配置管理实践
运维·网络·数据库·自动化