【Hive入门】Hive基础操作与SQL语法:DDL操作全面指南

目录

[1 Hive DDL操作概述](#1 Hive DDL操作概述)

[2 数据库操作全流程](#2 数据库操作全流程)

[2.1 创建数据库](#2.1 创建数据库)

[2.2 查看数据库](#2.2 查看数据库)

[2.3 使用数据库](#2.3 使用数据库)

[2.4 修改数据库](#2.4 修改数据库)

[2.5 删除数据库](#2.5 删除数据库)

[3 表操作全流程](#3 表操作全流程)

[3.1 创建表](#3.1 创建表)

[3.2 查看表信息](#3.2 查看表信息)

[3.3 修改表](#3.3 修改表)

[3.4 删除表](#3.4 删除表)

[4 分区与分桶操作](#4 分区与分桶操作)

[4.1 分区操作流程](#4.1 分区操作流程)

[4.2 分桶操作](#4.2 分桶操作)

[5 最佳实践与注意事项](#5 最佳实践与注意事项)

[6 总结](#6 总结)


1 Hive DDL操作概述

Hive的数据定义语言(DDL)是用于创建、修改和删除数据库对象的命令集合,主要包括对数据库、表、视图等对象的操作。作为Hadoop生态系统中的数据仓库工具,Hive的DDL语法与传统的SQL语法高度相似,但也有一些特有的扩展。
Hive DDL的主要特点:

  • 类SQL语法:HiveQL语法与标准SQL高度兼容
  • 元数据存储:DDL操作会记录在元数据存储中(通常使用MySQL或Derby)
  • 延迟执行:部分DDL操作不会立即影响实际数据文件
  • 扩展属性:支持为数据库和表添加自定义属性

2 数据库操作全流程

2.1 创建数据库

复制代码
CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];

关键参数解释

  • IF NOT EXISTS:避免重复创建时报错
  • LOCATION:指定数据库在HDFS上的存储路径
  • WITH DBPROPERTIES:为数据库添加描述性属性

  • 示例

    CREATE DATABASE IF NOT EXISTS sales_db
    COMMENT 'Sales department database'
    LOCATION '/user/hive/warehouse/sales.db'
    WITH DBPROPERTIES ('creator'='John', 'date'='2025-04-20');

2.2 查看数据库

  • 常用命令

    -- 列出所有数据库
    SHOW DATABASES;

    -- 使用正则表达式过滤
    SHOW DATABASES LIKE 'sales*';

    -- 查看数据库详细信息
    DESCRIBE DATABASE sales_db;

    -- 查看扩展属性
    DESCRIBE DATABASE EXTENDED sales_db;

2.3 使用数据库

复制代码
-- 切换当前数据库
USE sales_db;

-- 查看当前使用的数据库
SELECT current_database();

2.4 修改数据库

Hive的数据库修改功能有限,主要可以修改属性

复制代码
-- 修改数据库属性
ALTER DATABASE sales_db SET DBPROPERTIES ('edited-by'='Mary');

-- 修改数据库位置(注意:Hive 4.0+支持)
ALTER DATABASE sales_db SET LOCATION 'hdfs://new/path';

2.5 删除数据库

复制代码
-- 基本删除
DROP DATABASE sales_db;

-- 安全删除(数据库为空时)
DROP DATABASE IF EXISTS sales_db;

-- 强制删除(删除非空数据库)
DROP DATABASE IF EXISTS sales_db CASCADE;

3 表操作全流程

3.1 创建表

  • 基本语法

    CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
    [(col_name data_type [COMMENT col_comment], ...)]
    [COMMENT table_comment]
    [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
    [CLUSTERED BY (col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
    [ROW FORMAT row_format]
    [STORED AS file_format]
    [LOCATION hdfs_path]
    [TBLPROPERTIES (property_name=property_value, ...)]
    [AS select_statement];

关键参数解释

  • EXTERNAL:创建外部表,删除表时不删除数据
  • PARTITIONED BY:创建分区表
  • STORED AS:指定文件存储格式(如TEXTFILE, ORC, PARQUET等)

  • 示例

    CREATE EXTERNAL TABLE IF NOT EXISTS sales_records (
    order_id BIGINT COMMENT 'Unique order identifier',
    customer_id STRING,
    amount DOUBLE
    )
    COMMENT 'Sales records from all regions'
    PARTITIONED BY (sale_date STRING, region STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS ORC
    LOCATION '/user/hive/warehouse/sales.db/records'
    TBLPROPERTIES ('orc.compress'='SNAPPY');

3.2 查看表信息

复制代码
-- 列出所有表
SHOW TABLES;

-- 查看表结构
DESCRIBE FORMATTED sales_records;

-- 查看表分区
SHOW PARTITIONS sales_records;

-- 查看建表语句
SHOW CREATE TABLE sales_records;

3.3 修改表

  • 常用修改操作

    -- 重命名表
    ALTER TABLE sales_records RENAME TO sales_data;

    -- 添加列
    ALTER TABLE sales_data ADD COLUMNS (
    payment_method STRING COMMENT 'Credit card or cash',
    discount DOUBLE COMMENT 'Applied discount amount'
    );

    -- 修改列
    ALTER TABLE sales_data CHANGE COLUMN amount total_amount DOUBLE;

    -- 修改表属性
    ALTER TABLE sales_data SET TBLPROPERTIES ('notes'='Updated schema 2025');

    -- 添加分区
    ALTER TABLE sales_data ADD PARTITION (sale_date='2025-04-20', region='EAST');

3.4 删除表

复制代码
-- 删除内部表(同时删除数据)
DROP TABLE sales_data;

-- 删除外部表(仅删除元数据)
DROP TABLE sales_data;

-- 有条件删除
DROP TABLE IF EXISTS sales_data;

-- 清空表数据(保留结构)
TRUNCATE TABLE sales_data;

4 分区与分桶操作

4.1 分区操作流程

  • 分区管理命令

    -- 添加单个分区
    ALTER TABLE sales_data ADD PARTITION (sale_date='2025-04-20');

    -- 添加多个分区
    ALTER TABLE sales_data ADD
    PARTITION (sale_date='2023-01-02')
    PARTITION (sale_date='2023-01-03');

    -- 删除分区
    ALTER TABLE sales_data DROP PARTITION (sale_date='2025-04-20');

    -- 修复分区(元数据与HDFS不一致时)
    MSCK REPAIR TABLE sales_data;

4.2 分桶操作

分桶是将数据分散到固定数量的桶中,提高查询效率

复制代码
-- 创建分桶表
CREATE TABLE bucketed_users (
    id INT,
    name STRING
)
CLUSTERED BY (id) INTO 4 BUCKETS;

5 最佳实践与注意事项

命名规范:

  • 使用小写字母和下划线组合
  • 保持名称描述性但简洁
    性能考虑:
  • 合理使用分区避免小文件问题
  • 根据查询模式设计分区键
    数据安全:
  • 重要数据使用外部表
  • 定期备份元数据
    版本兼容性:
  • 不同Hive版本DDL语法可能有差异
  • 注意Hive与传统RDBMS的语法区别

6 总结

Hive DDL提供了完整的数据对象管理能力,从数据库到表再到分区和分桶。掌握这些操作是使用Hive进行大数据处理的基础。在实际工作中,建议:

  • 结合业务需求设计合理的表结构
  • 充分利用分区和分桶优化查询性能
  • 通过属性(DBPROPERTIES/TBLPROPERTIES)记录元信息
  • 定期维护和优化数据库对象
相关推荐
葡萄城技术团队6 小时前
利用 SQL Server 实现字符替换的高效函数
sql
FINE!(正在努力!)7 小时前
关于sql面试积累
数据库·sql
看天走路吃雪糕7 小时前
墨者:SQL过滤字符后手工绕过漏洞测试(万能口令)
数据库·sql·sql注入·墨者学院·万能口令
武昌库里写JAVA8 小时前
【MySQL】MySQL数据库如何改名
java·vue.js·spring boot·sql·学习
孫治AllenSun8 小时前
【JSqlParser】sql解析器使用案例
数据库·windows·sql
LiRuiJie10 小时前
基于Hadoop3.3.4+Flink1.17.0+FlinkCDC3.0.0+Iceberg1.5.0整合,实现数仓实时同步mysql数据
大数据·hadoop·flink·iceberg·flinkcdc
cici1587410 小时前
Docker搭建Hadoop集群
hadoop·docker·eureka
旧时光巷11 小时前
SQL基础⑫ | 视图篇
数据库·sql·学习·mysql·oracle·视图
谁他个天昏地暗13 小时前
标准SQL语句示例
数据库·sql·oracle
22:30Plane-Moon13 小时前
SQL 查询语法笔记
数据库·笔记·sql