Hive窗口函数整理

Hive 中的窗口函数允许你在结果集的一个特定"窗口"内对行进行计算。这些窗口可以是物理的(基于行在数据中的实际位置)或逻辑的(基于行的一些排序标准)。窗口函数在处理排名、计算累计和或计算移动平均值等问题时特别有用。

以下是一些 Hive 中的常见窗口函数:

  1. ROW_NUMBER()

    • 为窗口中的每一行分配一个唯一的整数编号。
    • 示例:ROW_NUMBER() OVER (ORDER BY column_name)
  2. RANK()

    • 为窗口中的每一行分配一个唯一的排名,对于并列的值会有相同的排名,并且会留下一些排名的间隙。
    • 示例:RANK() OVER (ORDER BY column_name)
  3. DENSE_RANK()

    • 与 RANK() 类似,但不会留下排名间隙。
    • 示例:DENSE_RANK() OVER (ORDER BY column_name)
  4. NTILE(n)

    • 将窗口中的行分成指定数量的近似相等的组,并为每一行返回其组号。
    • 示例:NTILE(4) OVER (ORDER BY column_name)
  5. LAG(column, n, default)

    • 返回当前行之前的第 n 行的指定列的值。如果不存在这样的行,则返回默认值。
    • 示例:LAG(column_name, 1, 0) OVER (ORDER BY another_column)
  6. LEAD(column, n, default)

    • 返回当前行之后的第 n 行的指定列的值。如果不存在这样的行,则返回默认值。
    • 示例:LEAD(column_name, 1, 0) OVER (ORDER BY another_column)
  7. FIRST_VALUE(column)

    • 返回窗口中的第一行的指定列的值。
    • 示例:FIRST_VALUE(column_name) OVER (ORDER BY another_column)
  8. LAST_VALUE(column)

    • 返回窗口中的最后一行的指定列的值。
    • 示例:LAST_VALUE(column_name) OVER (ORDER BY another_column ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING)

注意:在使用 LAST_VALUE() 时,通常需要指定窗口范围,因为默认窗口可能不会包括所有行。

  1. SUM(), AVG(), MIN(), MAX()

    • 这些聚合函数也可以与窗口一起使用,以在窗口上执行计算,而不是在整个结果集上执行。
    • 示例:SUM(column_name) OVER (ORDER BY another_column ROWS BETWEEN 1 PRECEDING AND CURRENT ROW)

这只是 Hive 中窗口函数的一个简短列表。当与其他 SQL 功能(如分区、排序和子查询)结合使用时,窗口函数可以非常强大。

相关推荐
APItesterCris3 小时前
告别人工盯品!借助 Open‑Claw 快速搭建电商商品全自动监控与数据分析系统(完整实操代码)
java·大数据·前端·数据库
BYSJMG3 小时前
计算机毕设选题推荐:基于大数据的公共交通运营数据分析与可视化,Spark+K-Means聚类城市运营模式
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计
顧棟4 小时前
【ES实战】 低版本Elasticsearch(不具备CCR)集群迁移
大数据·elasticsearch·搜索引擎
AIwenIPgeolocation4 小时前
告别“数据孤岛”:可信数据空间如何打通产业链、城市群?
大数据·人工智能
云上工程笔记4 小时前
四柱记账法和复式记账法有什么区别?复式记账为什么更适合查错和对账
大数据·前端·人工智能
微三云生态系统架构师-彭丹5 小时前
区域拆分独立分红池系统设计:解决大盘分红迟滞的四维拆分引擎
大数据·人工智能
吴佳浩 Alben5 小时前
构建企业级 DevOps 排错 Agent:从日志告警到自动化修复 PR
大数据·人工智能·语言模型·架构·自动化·ai编程·devops
Elastic 中国社区官方博客5 小时前
隐藏在可观测性数据中的安全攻击
大数据·网络·安全·elasticsearch·搜索引擎·全文检索
FII工业富联科技服务5 小时前
三维世界模型驱动机器人操作:概念解析、技术挑战与Omniverse全栈架构深度拆解
大数据·架构·机器人
见闻小天地5 小时前
空调机房冷冻泵与冷却泵是什么?选型要点与赛莱默方案解析
大数据·网络