Hive某字段空值用同组该字段非空值填充

背景: 工作中遇到这样一个业务场景:系统中记录订单提报和订单审核通过两个时间点某业务状态,开发做标记时一个订单产生了两条记录,即提报时记录状态1字段,状态2字段为空;审核通过时产生新纪录记录状态2字段,状态1字段为空。分析其实想要的是一个订单对应一条记录:订单对应的状态1字段和状态2字段。
思路: 使用last_value窗口函数可以实现获取某字段当前行的同组中非空值的最后一个;使用COALESCE函数判断字段是否为空,为空则使用last_value计算出的结果,否则使用字段本身值。最后使用分组方法保留每组一条记录。

sql 复制代码
select 
	order_id,
	status_submit,
	status_audit
from(
select
	order_id
	,coalesce(status_submit, last_value(status_submit) over (partition by order_id order by status_submitrows between unbounded preceding and unbounded following)) as status_submit
	,coalesce(status_audit, last_value(status_audit) over (partition by order_id order by status_audit rows between unbounded preceding and unbounded following)) as status_audit
from
	dbname.tableName
)t
group by order_id,status_submit,status_audit
相关推荐
jinxinyuuuus10 小时前
vsGPU:硬件参数的数据仓库设计、ETL流程与前端OLAP分析
前端·数据仓库·etl
编织幻境的妖14 小时前
ETL、数据仓库与数据湖详解
数据仓库·etl
爱吃大芒果15 小时前
Flutter 本地存储方案:SharedPreferences、SQFlite 与 Hive
开发语言·javascript·hive·hadoop·flutter·华为·harmonyos
咨询qq 87622396516 小时前
三相逆变器MPC控制:从原理到仿真实践
数据仓库
shjita16 小时前
hadoop运行jar包的相关配置参考!
大数据·hadoop·分布式
yumgpkpm16 小时前
AI大模型手机的“简单替换陷阱”与Hadoop、Cloudera CDP 7大数据底座的关系探析
大数据·人工智能·hadoop·华为·spark·kafka·cloudera
yumgpkpm16 小时前
(简略)AI 大模型 手机的“简单替换陷阱”与Hadoop、Cloudera CDP 7大数据底座的关系探析
人工智能·hive·zookeeper·flink·spark·kafka·开源
yumgpkpm16 小时前
Cloudera CDP 7.3下载地址、方式,开源适配 CMP 7.3(或类 CDP 的 CMP 7.13 平台,如华为鲲鹏 ARM 版)值得推荐
大数据·hive·hadoop·分布式·华为·开源·cloudera
笨蛋少年派1 天前
数据仓库系统建设:数据采集、预处理与集成
数据仓库
qq 8762239651 天前
基于Matlab/simulink的双电机建模驱动控制仿真模型:探索纯电与混动汽车世界
数据仓库