hivesql连续日期统计最大逾期/未逾期案例

1、虚表(测试表和数据) create test_table as

select a.cust_no, a.r_date, a.yqts from (

select '123' as cust_no, '20231101' as r_date, 0 as yqts

union all

select '123' as cust_no, '20231102' as r_date, 1 as yqts

union all

select '123' as cust_no, '20231103' as r_date, 2 as yqts

union all

select '123' as cust_no, '20231104' as r_date, 3 as yqts

union all

select '123' as cust_no, '20231105' as r_date, 0 as yqts

union all

select '123' as cust_no, '20231106' as r_date, 0 as yqts

union all

select '123' as cust_no, '20231107' as r_date, 1 as yqts

) a

2、加入有表test_table,数据如上,0标识未逾期,1标识逾期,求连续最大无逾期和逾期的天数,以上数据可直接看出最大连续逾期天数为3、未逾期未2。

3、首先将测试数据排序,让数据连续

select a.cust_no, a.r_date, a.yqts from test_table a where 1=1 order by a.cust_no, a.r_date asc

4、将数据分组并给是否逾期打上标识1逾期,2未逾期,多行转一行

select tx.cust_no, count(distinct tx.r_date) as sum_ctn, concat_ws('',collection_list(case when cast(tx.yqts as double) > 0 then '1' else '2' end)) as sfflag from (

select a.cust_no, a.r_date, a.yqts from test_table a where 1=1 order by a.cust_no, a.r_date asc

) tx

执行结果:

cust_no sum_ctn sfflag

123 7 2111221

5、使用正则表达式分别替换,2111221改字符串中包含逾期和未逾期,将逾期1*都用A替换掉(同时也是分割符),剩下就是未逾期的,逾期的同理

select ty.cust_no, ty.sum_ctn, regexp_replace(ty.sfflag, '\2+', 'A') as yqflag, regexp_replace(ty.sfflag, '\1+', 'A') as wyqflag from (

'123' as cust_no 7 as sum_ctn '2111221' as sfflag

) ty

执行结果:

cust_no sum_ctn yqflag wyqflag

123 7 A111A1 2A22A

6、使用炸裂函数explode结合lateral view将数据拆分未多行,使用一次lateral view会生成一次虚表

select tz.cust_no, max(sum_ctn) as sum_ctn, max(length(yqlength)) as yqlength, max(length(wyqlength)) as wyqlength from (

123 as cust_no 7 as sum_ctn A111A1 as yqflag 2A22A as wyqflag

) tz

lateral view explode(split(yqflag,'A')) tb1 as yqlength

lateral view explode(split(wyqflag,'A')) tb2 as wyqlength

group by tz.cust_no

相关推荐
uesowys7 小时前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
麦聪聊数据8 小时前
Web 原生架构如何重塑企业级数据库协作流?
数据库·sql·低代码·架构
Apple_羊先森12 小时前
ORACLE数据库巡检SQL脚本--19、磁盘读次数最高的前5条SQL语句
数据库·sql·oracle
十月南城13 小时前
Hive与离线数仓方法论——分层建模、分区与桶的取舍与查询代价
数据仓库·hive·hadoop
l1t14 小时前
DeepSeek总结的PostgreSQL的GPT推理SQL移植到DuckDB的性能优化方法
sql·gpt·postgresql
鹏说大数据15 小时前
Spark 和 Hive 的关系与区别
大数据·hive·spark
B站计算机毕业设计超人15 小时前
计算机毕业设计Hadoop+Spark+Hive招聘推荐系统 招聘大数据分析 大数据毕业设计(源码+文档+PPT+ 讲解)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
B站计算机毕业设计超人15 小时前
计算机毕业设计hadoop+spark+hive交通拥堵预测 交通流量预测 智慧城市交通大数据 交通客流量分析(源码+LW文档+PPT+讲解视频)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
AI架构师小马15 小时前
Hive调优手册:从入门到精通的完整指南
数据仓库·hive·hadoop·ai
数据架构师的AI之路15 小时前
深入了解大数据领域Hive的HQL语言特性
大数据·hive·hadoop·ai