hive库表占用空间大小的命令

1、查每个hive表占用的空间大小

hdfs dfs -du -h /user/hive/warehouse

2、按占用空间大小降序排列

hdfs dfs -du /user/hive/warehouse/ipms.db | sort -nr

3、查某一个分区占用空间大小(单位G)

hadoop fs -ls /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h/fp_rat=6/stat_month=201709/stat_date=20170903/stat_hour=2017090323|awk -F ' ' '{print 5}'\|awk '{a+=1}END {print a/(1024*1024*1024)}'

4、查某一个表总占用空间大小(单位G)

hadoop fs -du /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

5、统计hdfs某个表文件的数据量

hadoop fs -cat /user/hive/warehouse/ipms.db/dw_ft_se_nt_us_cl_h/fp_rat=9/stat_month=202401/stat_date=20240109/stat_hour=2024010906/* | wc -l

6、统计表的大小

hdfs dfs -du -s -h /user/hive/warehouse/ipms.db/dw_msisdn_cell_record_d

相关推荐
演艺大赏12 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏12 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
吾AI科技2 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
上海潭龙东海科技有限公司3 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
freejackman7 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
skywalk816310 天前
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
运维·人工智能·hive
Francek Chen12 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠14 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
全栈陈序员15 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
skywalk816315 天前
卡不等于分支:我用 TRAE 宝配合 Hive 跑三张任务卡的一天
运维·人工智能·hive·trae