hive库表占用空间大小的命令

1、查每个hive表占用的空间大小

hdfs dfs -du -h /user/hive/warehouse

2、按占用空间大小降序排列

hdfs dfs -du /user/hive/warehouse/ipms.db | sort -nr

3、查某一个分区占用空间大小(单位G)

hadoop fs -ls /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h/fp_rat=6/stat_month=201709/stat_date=20170903/stat_hour=2017090323|awk -F ' ' '{print 5}'\|awk '{a+=1}END {print a/(1024*1024*1024)}'

4、查某一个表总占用空间大小(单位G)

hadoop fs -du /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

5、统计hdfs某个表文件的数据量

hadoop fs -cat /user/hive/warehouse/ipms.db/dw_ft_se_nt_us_cl_h/fp_rat=9/stat_month=202401/stat_date=20240109/stat_hour=2024010906/* | wc -l

6、统计表的大小

hdfs dfs -du -s -h /user/hive/warehouse/ipms.db/dw_msisdn_cell_record_d

相关推荐
写代码的【黑咖啡】6 小时前
HDFS简介及其存储机制详解
大数据·hadoop·hdfs
俊哥大数据9 小时前
【项目实战1】大数据项目开发案例---新闻资讯离线分析|实时分析|大数据仓库|推荐系统|数据可视化项目
数据仓库·hadoop·flink·spark·推荐系统·实时分析·离线分析
忘记92610 小时前
Servlet 生命周期
数据仓库·hive·hadoop
zhixingheyi_tian12 小时前
HDFS 之 Client 调试
大数据·hadoop·hdfs
天天向上杰12 小时前
小识:从理财数仓角度看GaussDB、PostgreSQL、Hive 三区别
hive·hadoop·gaussdb
写代码的【黑咖啡】12 小时前
Hive on Spark:加速大数据分析的新引擎
hive·数据分析·spark
yumgpkpm14 小时前
Hadoop 与AI大模型实战:从Hive、Impala(Cloudera CDH、CDP)海量数据到 AI 决策的落地方法
arm开发·人工智能·hive·zookeeper·flink·kafka·cloudera
路边草随风1 天前
java操作cosn使用
java·大数据·hadoop
码以致用1 天前
Hive笔记
hive·hadoop·笔记
路边草随风1 天前
通过hive元数据库查询表信息
大数据·数据库·hive·hadoop