检查HIVE分区是否连续

检查HIVE分区是否连续

我们经常可能会有这样的诉求,需要对一张目标表进行分区检查,查看是否存在不连续的情况,该诉求频繁且重要,因此以下语句可以实现我们的诉求

场景描述

我们有一张表,表名 t_user_info,分区字段 ds,分区字段数据类型 String,分区数据格式 yyyyMMdd

分区连续性检查语句

sql 复制代码
SELECT  ds
       ,rn
       ,date_sub(ds_format, rn)
FROM
(
    -- 对分区数据进行类型转换
    SELECT  ds
           ,from_unixtime(unix_timestamp(ds, 'yyyyMMdd'), 'yyyy-MM-dd') as ds_format
           ,row_number() over(order by ds asc) rn -- 排序分区,按照ds升序
    FROM
    (
       -- 获取表中的所有分区数据 
       SELECT  ds
       FROM t_user_info
       -- 指定分区检查的时间段
       WHERE ds between '20221231' and '20230924'
       group by ds
    ) ds_info
) diff_ds_info
limit 1000
;
相关推荐
Leo.yuan15 分钟前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
chat2tomorrow35 分钟前
数据采集平台的起源与演进:从ETL到数据复制
大数据·数据库·数据仓库·mysql·低代码·postgresql·etl
isfox17 小时前
Google GFS 深度解析:分布式文件系统的开山之作
大数据·hadoop
鼠鼠我捏,要死了捏19 小时前
Hadoop NameNode内存泄漏与GC停顿问题排查与解决方案
hadoop·问题排查·jvm优化
嘉禾望岗5031 天前
Yarn介绍与HA搭建
大数据·hadoop·yarn
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的国家药品采集药品数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
Lx3521 天前
Hadoop性能瓶颈分析:从JVM到磁盘IO的全链路优化
大数据·hadoop
DashingGuy1 天前
数仓建模理论
数据仓库
BYSJMG1 天前
计算机毕业设计选题:基于Spark+Hadoop的健康饮食营养数据分析系统【源码+文档+调试】
大数据·vue.js·hadoop·分布式·spark·django·课程设计