如何判断 Hive 表是内部表还是外部表

在使用 Apache Hive 进行大数据处理时，理解表的类型（内部表或外部表）对于数据管理和维护至关重要。本篇文章将详细介绍如何判断 Hive 表是内部表还是外部表，并提供具体的操作示例。

目录

1. [Hive 表的类型简介](#Hive 表的类型简介)
2. 判断表类型的方法
   • [方法一：使用 DESCRIBE FORMATTED 命令](#方法一：使用 DESCRIBE FORMATTED 命令)
   • [方法二：使用 SHOW CREATE TABLE 命令](#方法二：使用 SHOW CREATE TABLE 命令)
   • 方法三：查看表的属性
   • 方法四：查看数据存储路径
3. 总结
4. 注意事项

---

Hive 表的类型简介

在 Hive 中，表分为内部表 （也称为管理表 ）和外部表。两者的主要区别在于数据的存储和管理方式：

• 内部表（Managed Table）：Hive 完全管理表的数据及元数据。当删除内部表时，Hive 会删除元数据和存储在 Hive 仓库中的数据文件。

• 外部表（External Table）：Hive 仅管理表的元数据，数据文件由用户自行管理。当删除外部表时，Hive 只删除元数据，不会删除数据文件。

了解表的类型对于数据的生命周期管理非常重要，特别是在删除表时，可能会影响到数据的存储。

---

判断表类型的方法

下面将介绍四种方法来判断 Hive 表是内部表还是外部表，并以示例表 example_db.example_table 为例。

方法一：使用 DESCRIBE FORMATTED 命令

步骤：

1. 执行命令：

   DESCRIBE FORMATTED example_db.example_table;

2. 查看输出结果：

   • 查找输出中的 Table Type 字段。
   • 内部表 显示为 MANAGED_TABLE。
   • 外部表 显示为 EXTERNAL_TABLE。

示例输出：

# Detailed Table Information
Database:               example_db
Owner:                  user_name
CreateTime:             Tue Oct 10 10:00:00 CST 2023
Table Type:             MANAGED_TABLE
...

方法二：使用 SHOW CREATE TABLE 命令

步骤：

1. 执行命令：

   SHOW CREATE TABLE example_db.example_table;

2. 查看建表语句：

   • 内部表 ：建表语句中 不包含 EXTERNAL 关键字。

     CREATE TABLE `example_db.example_table` (
       ...
     )

   • 外部表 ：建表语句中 包含 EXTERNAL 关键字。

     CREATE EXTERNAL TABLE `example_db.example_table` (
       ...
     )
     LOCATION 'hdfs://path/to/data';

方法三：查看表的属性

步骤：

1. 执行命令：

   DESCRIBE EXTENDED example_db.example_table;

2. 查看 Table Parameters：

   • 查找输出中的 table parameters 部分。
   • 如果存在 'EXTERNAL'='TRUE'，则为外部表。
   • 如果不存在该参数或为 'EXTERNAL'='FALSE'，则为内部表。

示例：

# Detailed Table Information
...
Table Parameters:
    EXTERNAL                TRUE
    numFiles                15
    totalSize               204800
    ...

方法四：查看数据存储路径

步骤：

1. 执行命令：

   DESCRIBE EXTENDED example_db.example_table;

2. 查看 Location 信息：

   • 内部表：数据通常存储在 Hive 的默认仓库目录，例如：

     hdfs://namenode:8020/user/hive/warehouse/example_db.db/example_table

   • 外部表：数据存储在用户指定的 HDFS 路径，可能不在默认仓库目录下，例如：

     hdfs://namenode:8020/data/external/example_table

---

总结

通过上述方法，您可以轻松判断 Hive 表是内部表还是外部表：

• 内部表：

  • 删除表时，Hive 会删除元数据和数据文件。
  • 数据存储在 Hive 的默认仓库目录。

• 外部表：

  • 删除表时，Hive 只删除元数据，数据文件保留。
  • 数据存储在用户指定的路径。

了解表的类型有助于避免意外的数据丢失，并有助于制定合理的数据管理策略。

---

注意事项

• 删除操作需谨慎：在删除表之前，务必确认表的类型，避免误删重要数据。

• 数据备份：对于重要的数据，无论是内部表还是外部表，建议定期备份。

• 权限管理：确保只有授权的人员才能执行删除和修改表结构的操作。

• 版本兼容性 ：不同版本的 Hive 可能存在一些差异，操作前请参考对应版本的官方文档。
  

---

希望这篇文章能帮助您更好地理解和管理 Hive 中的表类型。如果您有任何疑问或建议，欢迎在评论区交流！