检查HIVE分区是否连续

检查HIVE分区是否连续

我们经常可能会有这样的诉求,需要对一张目标表进行分区检查,查看是否存在不连续的情况,该诉求频繁且重要,因此以下语句可以实现我们的诉求

场景描述

我们有一张表,表名 t_user_info,分区字段 ds,分区字段数据类型 String,分区数据格式 yyyyMMdd

分区连续性检查语句

sql 复制代码
SELECT  ds
       ,rn
       ,date_sub(ds_format, rn)
FROM
(
    -- 对分区数据进行类型转换
    SELECT  ds
           ,from_unixtime(unix_timestamp(ds, 'yyyyMMdd'), 'yyyy-MM-dd') as ds_format
           ,row_number() over(order by ds asc) rn -- 排序分区,按照ds升序
    FROM
    (
       -- 获取表中的所有分区数据 
       SELECT  ds
       FROM t_user_info
       -- 指定分区检查的时间段
       WHERE ds between '20221231' and '20230924'
       group by ds
    ) ds_info
) diff_ds_info
limit 1000
;
相关推荐
工作中的程序员7 小时前
hive sql优化基础
hive·sql
K_i13420 小时前
中国电信用户行为实时分析系统运维实战
hadoop·mysql
风跟我说过她20 小时前
Sqoop的安装与配置
hive·hadoop·经验分享·centos·hbase·sqoop
卡拉叽里呱啦1 天前
Apache Iceberg介绍、原理与性能优化
大数据·数据仓库
K_i1341 天前
电信大数据实战:MySQL与Hadoop高效同步
大数据·hadoop·mysql
weixin_525936332 天前
金融大数据处理与分析
hadoop·python·hdfs·金融·数据分析·spark·matplotlib
秃头菜狗2 天前
十三、格式化 HDFS 文件系统、启动伪分布式集群
大数据·hadoop·hdfs
笨蛋少年派2 天前
Hadoop简介
大数据·hadoop
Hello.Reader2 天前
Flink 高级配置发行版剖析、Scala 版本、Table 依赖与 Hadoop 集成实战
hadoop·flink·scala
IT毕设梦工厂3 天前
大数据毕业设计选题推荐-基于大数据的人口普查收入数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata