查看Hive表信息及占用空间的方法

有语忆语2023-12-01 12:49

一、Hive下查看数据表信息的方法

方法1：查看表的字段信息

desc table_name;

方法2：查看表的字段信息及元数据存储路径

desc extended table_name;

方法3：查看表的字段信息及元数据存储路径

desc formatted table_name;

方法4：查看建表语句及其他详细信息的方法

show create table table_name;

备注：查看表元数据存储路径时，推荐方法3，信息比较清晰。

二、查看表容量大小

方法1：查看一个hive表文件总大小时(单位为Byte)，可以通过一行脚本快速实现，其命令如下：

查看普通表的容量

powershell 复制代码

[pgxl@master ~]$ hadoop fs -ls /home/pgxl/opt/hive-1.2.1/hive-warehouse/tmp.db/wuxn_test_df|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}'
[pgxl@master ~]$ hadoop fs -ls /home/pgxl/opt/hive-1.2.1/hive-warehouse/tmp.db/wuxn_test_df|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a/(1024*1024*1024)}'

这样可以省去自己相加，下面命令是列出该表的详细文件列表

powershell 复制代码

[pgxl@master ~]$ hadoop fs -ls /home/pgxl/opt/hive-1.2.1/hive-warehouse/tmp.db/wuxn_test_df

统计文件详细数目

powershell 复制代码

[pgxl@master ~]$ hadoop fs -ls /home/pgxl/opt/hive-1.2.1/hive-warehouse/tmp.db/wuxn_test_df|wc -l

查看分区表的容量

powershell 复制代码

[pgxl@master ~]$ hadoop fs -ls /home/pgxl/opt/hive-1.2.1/hive-warehouse/tmp.db/wuxn_test_df/yyyymm=202301|awk -F ' ' '{print $5}'|awk '{a+=$1}END {print a/(1024*1024*1024)}'

这样可以省去自己相加，下面命令是列出该表的详细文件列表

powershell 复制代码

[pgxl@master ~]$ hadoop fs -ls /home/pgxl/opt/hive-1.2.1/hive-warehouse/tmp.db/wuxn_test_df/yyyymm=202301

方法2：查看该表总容量大小，单位为G

powershell 复制代码

[pgxl@master ~]$ hadoop fs -du /home/pgxl/opt/hive-1.2.1/hive-warehouse/tmp.db/wuxn_test_df|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

查看hive库的大小

powershell 复制代码

 hadoop fs -count -q -h /data/hive/warehouse/wedw_dw.db