hive窗口函数记录

记录工作中和学习中的窗口函数,方便以后使用,本记持续更新和完善,版本:231019

文章目录

1.什么是窗口函数

窗口函数,能为每行数据划分一个窗口,然后对窗口范围内的数据进行计算, 最后将计算结果返回给该行 数据 。

使用场景:在一条数据中既想要展示明细,又想要体现一部分数据整体的效果,就可以使用窗口函数。这也是它和聚合函数的不同之处是:对于每个组返回多行,而聚合函数对于每个组只返回一行。

如下图式例:既想要展示sc表每个sid学生的成绩,又想要展示展示每个学生在整个年级的排名情况,rw即为窗口所展示的数据

sql 复制代码
SELECT *,row_number() over( ORDER BY score desc ) as rw FROM sc

2.窗口函数的表达式

function(args) over([partition by expression] [order by [asc|desc]] [frame])

表达式解析:
function :<窗口函数名>
over :"关键字 用于指定窗口的范围

(partition by : <用于分组的列名> order by <用于排序的列名>)
asc|desc:升序和降序,不写默认是升序

frame:计算行数的范围(详细请看下面第四点:[frame]滑动窗口)

3.窗口函数的类型

1) 排名函数

复制代码
row_number()、 rank()、dense_rank() 
row_number() 排序相同时不会重复,会根据顺序排序 即 1,2,3
rank() 排序相同时会重复,同一排名有几个,后面排名就会跳过几次,即 1,1,3
dense_rank() 排序相同时会重复,排名相同的名次一样,且后面名次不跳跃,即1,1,2

示例:

sql 复制代码
select *,
row_number() over(partition by cid order by score desc) rw,
rank() over(partition by cid order by score desc) rk,
dense_rank() over(partition by cid order by score desc) dense_rk
from sc 
where cid = 01

2) 聚合函数

复制代码
max()、 min()、sum()、avg()、count()
max () 最大值
min () 最小值
sum () 求和
avg() 求平均值
count() 计数

3) 跨行取值函数

复制代码
  lead()、lag()

语法:

lead(expression,n) 获取当前行的下边n行 、n个字段的值
lag(expression,n) 获取当前行的上边n行 、n个字段的值

expression:行数命

n:代表便宜量,想要偏移的行数

实例如下:

sql 复制代码
select * from active

select 
  uid,
	dt,
	lag(dt,1) over(PARTITION by uid ORDER BY dt) lg,
	lead(dt,1) over(PARTITION by uid ORDER BY dt) ld
from active

使用范围:可以对数据进行同步和环比,针对

4.[frame]滑动窗口

function(args) over([partition by expression] [order by [asc|desc]] [frame])

1)窗口选择的两种模式:

rows模式 按物理行进行划分
range模式 按数据模式进行划分

2)滑动模式的两种表达式

{range|row}frame_start : 从自定行开始到当前行结束
{range|row}between frame_start and frame_end: 指定开始行和结束行

滑动行范围的常用表达式:

表达式 解析
unbounded preceding 从开始行
expression preceding 从当前行往前推 n 行 (expression 写为整数)
current row 当前行
expression following 从当前行往后推n行 (expression 写为整数)
unbounded following 到结束行

示例:通过改变row参数,改变窗口的大小

sql 复制代码
图一:
select * from sc 

图二:窗口默认当前行之前的所有行
select 
	sid,
	cid,
  sum(score) over(partition by sid)
from sc

图三:使用row使窗口变成当前行的前一行到当前行,窗口只有两行,得出图三的效果
select 
	sid,
	cid,
  sum(score) over(partition by sid  rows 1  preceding)
from sc


#当order by 后面缺少窗口从句条件,窗口规范默认是 从当前行到当前行以上的所有行

rows between unbounded preceding and current

#当order by 和 窗口从句条件都缺失,窗口范围默认 当前行上面所有行以及下面的所有行

rows between unbounded preceding and unbounded following

相关推荐
Dxy12393102164 小时前
MySQL如何高效查询表数据量:从基础到进阶的优化指南
数据库·mysql
Dying.Light4 小时前
MySQL相关问题
数据库·mysql
蜡笔小炘5 小时前
LVS -- 利用防火墙标签(FireWall Mark)解决轮询错误
服务器·数据库·lvs
韩立学长5 小时前
基于Springboot泉州旅游攻略平台d5h5zz02(程序、源码、数据库、调试部署方案及开发环境)系统界面展示及获取方式置于文档末尾,可供参考。
数据库·spring boot·旅游
Re.不晚6 小时前
MySQL进阶之战——索引、事务与锁、高可用架构的三重奏
数据库·mysql·架构
老邓计算机毕设6 小时前
SSM智慧社区信息化服务平台4v5hv(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架·智慧社区、·信息化平台
麦聪聊数据6 小时前
为何通用堡垒机无法在数据库运维中实现精准风控?
数据库·sql·安全·低代码·架构
2301_790300966 小时前
Python数据库操作:SQLAlchemy ORM指南
jvm·数据库·python
m0_736919107 小时前
用Pandas处理时间序列数据(Time Series)
jvm·数据库·python
亓才孓7 小时前
[JDBC]PreparedStatement替代Statement
java·数据库