hive库表占用空间大小的命令

1、查每个hive表占用的空间大小

hdfs dfs -du -h /user/hive/warehouse

2、按占用空间大小降序排列

hdfs dfs -du /user/hive/warehouse/ipms.db | sort -nr

3、查某一个分区占用空间大小(单位G)

hadoop fs -ls /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h/fp_rat=6/stat_month=201709/stat_date=20170903/stat_hour=2017090323|awk -F ' ' '{print 5}'\|awk '{a+=1}END {print a/(1024*1024*1024)}'

4、查某一个表总占用空间大小(单位G)

hadoop fs -du /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

5、统计hdfs某个表文件的数据量

hadoop fs -cat /user/hive/warehouse/ipms.db/dw_ft_se_nt_us_cl_h/fp_rat=9/stat_month=202401/stat_date=20240109/stat_hour=2024010906/* | wc -l

6、统计表的大小

hdfs dfs -du -s -h /user/hive/warehouse/ipms.db/dw_msisdn_cell_record_d

相关推荐
juniperhan8 小时前
Flink 系列第12篇:Flink 维表关联详解
大数据·数据仓库·分布式·flink
Leo.yuan11 小时前
告别DataX和Kettle:FineDataLink如何实现数据同步+ETL+治理一体化?
数据仓库·etl
Roselind_Yi13 小时前
云计算实验实操|Hadoop伪分布式部署+MapReduce编程实践(超详细图文版)
大数据·hadoop·经验分享·笔记·分布式·数据挖掘·云计算
hINs IONN2 天前
深入解析HDFS:定义、架构、原理、应用场景及常用命令
hadoop·hdfs·架构
隐于花海,等待花开2 天前
Hive 常用函数详细总结
数据仓库·hive·hadoop
孟意昶3 天前
Doris专题28-聚合多维分析
大数据·数据库·数据仓库·sql·doris
docsz3 天前
据数据基座搭建
大数据·hadoop
RestCloud4 天前
流式优先数据架构:从批量ETL到事件驱动架构的演进之路
数据仓库·etl·cdc·数据处理·数据集成·数据传输·数据同步
coderlin_4 天前
LangGraph项目二 同步数据仓库信息到元数据库并且建立向量索引
数据库·数据仓库
隐于花海,等待花开4 天前
COLLECT_LIST函数详解
hive