Hive某字段空值用同组该字段非空值填充

背景: 工作中遇到这样一个业务场景:系统中记录订单提报和订单审核通过两个时间点某业务状态,开发做标记时一个订单产生了两条记录,即提报时记录状态1字段,状态2字段为空;审核通过时产生新纪录记录状态2字段,状态1字段为空。分析其实想要的是一个订单对应一条记录:订单对应的状态1字段和状态2字段。
思路: 使用last_value窗口函数可以实现获取某字段当前行的同组中非空值的最后一个;使用COALESCE函数判断字段是否为空,为空则使用last_value计算出的结果,否则使用字段本身值。最后使用分组方法保留每组一条记录。

sql 复制代码
select 
	order_id,
	status_submit,
	status_audit
from(
select
	order_id
	,coalesce(status_submit, last_value(status_submit) over (partition by order_id order by status_submitrows between unbounded preceding and unbounded following)) as status_submit
	,coalesce(status_audit, last_value(status_audit) over (partition by order_id order by status_audit rows between unbounded preceding and unbounded following)) as status_audit
from
	dbname.tableName
)t
group by order_id,status_submit,status_audit
相关推荐
2601_962300819 小时前
机器学习贴士:使用Python编写MapReduce
hadoop·python·机器学习·mapreduce·数据处理
爱吃火鸡面呀9 小时前
HDFS 架构深度解析:从核心组件到数据读写全流程
hadoop·hdfs·架构
宽海智能仓储物流11 小时前
航发自动化立体库异构系统改造:宽海智能30天联调技术全解析
运维·数据仓库·自动化
m0_547486661 天前
《大数据技术与应用:Hadoop和PySpark实现》全套PPT课件2026
大数据·hadoop
IT毕设梦工厂2 天前
计算机毕业设计选题推荐:基于大数据的印度上市公司财务指标数据可视化分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·python·信息可视化·spark·课程设计·大数据毕设项目
爱吃火鸡面呀2 天前
HDFS 文件读取流程深度解析:从客户端请求到数据落地的完整链路
大数据·hadoop·hdfs
程序员小羊!2 天前
医疗数据仓库ODS层敏感信息防护实战:7大关键策略
数据仓库
kaoa0002 天前
Linux入门攻坚——89、Hadoop-1-架构及概念
大数据·linux·hadoop·分布式
BYSJMG2 天前
计算机毕业设计选题推荐:基于大数据的水质多指标关联分析与可视化的设计与实现,Spark 加 K-Means 做水质分群
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计
计算机源码社2 天前
【大数据项目实战】基于Python数据挖掘的新能源车充电行为关联风险分析研究-基于Hadoop+Spark的电动汽车故障多维数据可视化
大数据·hadoop·python·数据挖掘·spark·毕业设计·课程设计