Hive某字段空值用同组该字段非空值填充

背景: 工作中遇到这样一个业务场景:系统中记录订单提报和订单审核通过两个时间点某业务状态,开发做标记时一个订单产生了两条记录,即提报时记录状态1字段,状态2字段为空;审核通过时产生新纪录记录状态2字段,状态1字段为空。分析其实想要的是一个订单对应一条记录:订单对应的状态1字段和状态2字段。
思路: 使用last_value窗口函数可以实现获取某字段当前行的同组中非空值的最后一个;使用COALESCE函数判断字段是否为空,为空则使用last_value计算出的结果,否则使用字段本身值。最后使用分组方法保留每组一条记录。

sql 复制代码
select 
	order_id,
	status_submit,
	status_audit
from(
select
	order_id
	,coalesce(status_submit, last_value(status_submit) over (partition by order_id order by status_submitrows between unbounded preceding and unbounded following)) as status_submit
	,coalesce(status_audit, last_value(status_audit) over (partition by order_id order by status_audit rows between unbounded preceding and unbounded following)) as status_audit
from
	dbname.tableName
)t
group by order_id,status_submit,status_audit
相关推荐
写代码的【黑咖啡】15 小时前
HDFS简介及其存储机制详解
大数据·hadoop·hdfs
俊哥大数据18 小时前
【项目实战1】大数据项目开发案例---新闻资讯离线分析|实时分析|大数据仓库|推荐系统|数据可视化项目
数据仓库·hadoop·flink·spark·推荐系统·实时分析·离线分析
忘记92619 小时前
Servlet 生命周期
数据仓库·hive·hadoop
zhixingheyi_tian20 小时前
HDFS 之 Client 调试
大数据·hadoop·hdfs
天天向上杰21 小时前
小识:从理财数仓角度看GaussDB、PostgreSQL、Hive 三区别
hive·hadoop·gaussdb
写代码的【黑咖啡】21 小时前
Hive on Spark:加速大数据分析的新引擎
hive·数据分析·spark
yumgpkpm1 天前
Hadoop 与AI大模型实战:从Hive、Impala(Cloudera CDH、CDP)海量数据到 AI 决策的落地方法
arm开发·人工智能·hive·zookeeper·flink·kafka·cloudera
路边草随风1 天前
java操作cosn使用
java·大数据·hadoop
码以致用2 天前
Hive笔记
hive·hadoop·笔记
路边草随风2 天前
通过hive元数据库查询表信息
大数据·数据库·hive·hadoop