hive库表占用空间大小的命令

1、查每个hive表占用的空间大小

hdfs dfs -du -h /user/hive/warehouse

2、按占用空间大小降序排列

hdfs dfs -du /user/hive/warehouse/ipms.db | sort -nr

3、查某一个分区占用空间大小(单位G)

hadoop fs -ls /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h/fp_rat=6/stat_month=201709/stat_date=20170903/stat_hour=2017090323|awk -F ' ' '{print 5}'\|awk '{a+=1}END {print a/(1024*1024*1024)}'

4、查某一个表总占用空间大小(单位G)

hadoop fs -du /user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

5、统计hdfs某个表文件的数据量

hadoop fs -cat /user/hive/warehouse/ipms.db/dw_ft_se_nt_us_cl_h/fp_rat=9/stat_month=202401/stat_date=20240109/stat_hour=2024010906/* | wc -l

6、统计表的大小

hdfs dfs -du -s -h /user/hive/warehouse/ipms.db/dw_msisdn_cell_record_d

相关推荐
计算机编程指导师16 分钟前
计算机毕设选题推荐:Hadoop大数据下的个体肥胖健康风险评估与可视化系统源码 毕业设计 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·肥胖健康风险
计算机编程指导师31 分钟前
Python大数据毕设怎么写?Django结合Hadoop+Spark京东销售分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·京东商品
计算机编程指导师2 小时前
大数据毕业设计推荐:Hadoop+Django全球碳排放减排策略分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·spark·毕业设计·碳排放
计算机编程指导师2 小时前
Python大数据毕设怎么做?基于Hadoop+Spark的高频电力消耗数据可视化与分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·电力
计算机编程指导师3 小时前
【计算机毕设】基于Hadoop+Spark的美国互联网银行贷款数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·spark·毕业设计·贷款
古法老登瞎折腾4 小时前
Hive 源码导读(三):都是 SELECT,为什么有的查询不需要 YARN?
数据仓库·hive·hadoop
计算机编程指导师6 小时前
计算机大数据项目推荐:基于Hadoop+Django的人工智能社交媒体情绪数据分析可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·毕业设计·社交媒体
troy1287 小时前
Java Web 常见面试题(2026 最新整理)
java·前端·hive
计算机编程指导师7 小时前
【计算机毕设选题】基于Hadoop的全球企业邮件安全合规数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·毕业设计·课程设计·企业邮件
高级程序源8 小时前
hive电商平台商品销售数据分析与趋势预测45659-计算机课程设计、毕业设计
vue.js·hive·spring boot·mysql·数据分析·django·课程设计