Hive 文件格式与查询学习笔记

本文基于 Hive 官方文档整理,涵盖 Hive 常见文件格式(TEXTFILE、ORC、PARQUET)以及 Hive 查询(SELECT)的常用语法与案例。 官方文档:

一、Hive 文件格式

STORED AS:指定文件格式。

复制代码
file_format:
  | TEXTFILE    -- (Default, depending on hive.default.fileformat configuration)
  | ORC         -- (Note: Available in Hive 0.11.0 and later)
  | PARQUET     -- (Note: Available in Hive 0.13.0 and later)

1. TEXTFILE

文本文件格式,是 Hive 默认的文件格式。文本文件中的一行内容,对应 Hive 表中的一行记录。 创建车流量表:

复制代码
CREATE TABLE gateway_records_text_file(
  plate_number STRING COMMENT '车牌号',
  gateway_id STRING COMMENT '卡口编号',
  city STRING COMMENT '卡口所在城市',
  car_brand STRING COMMENT '车辆品牌',
  road_id STRING COMMENT '道路编号',
  travel_direction STRING COMMENT '车辆行驶方向'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

加载数据:

复制代码
hdfs dfs -put gateway_records.txt /user/hive/warehouse/bigdata.db/gateway_records_text_file

查询数据(看查询时间):

复制代码
SELECT
    city,
    COUNT(1)
FROM gateway_records_text_file
GROUP BY city;

Time taken: 26.306 seconds, Fetched: 10 row(s)

2. ORC

列式存储的文件格式,ORC 文件能提高 Hive 读写和处理数据的性能。

复制代码
CREATE TABLE gateway_records_orc(
  plate_number STRING COMMENT '车牌号',
  gateway_id STRING COMMENT '卡口编号',
  city STRING COMMENT '卡口所在城市',
  car_brand STRING COMMENT '车辆品牌',
  road_id STRING COMMENT '道路编号',
  travel_direction STRING COMMENT '车辆行驶方向'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS ORC;

插入数据:

复制代码
INSERT INTO bigdata.gateway_records_orc
SELECT * FROM bigdata.gateway_records_text_file;

查询数据(看查询时间):

复制代码
SELECT
    city,
    COUNT(1)
FROM gateway_records_orc
GROUP BY city;

Time taken: 16.92 seconds, Fetched: 10 row(s)

3. PARQUET

PARQUET 是 Hadoop 生态中一个通用的文件格式,它是一个列式存储的文件格式。

复制代码
CREATE TABLE gateway_records_parquet(
  plate_number STRING COMMENT '车牌号',
  gateway_id STRING COMMENT '卡口编号',
  city STRING COMMENT '卡口所在城市',
  car_brand STRING COMMENT '车辆品牌',
  road_id STRING COMMENT '道路编号',
  travel_direction STRING COMMENT '车辆行驶方向'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS PARQUET;

插入数据:

复制代码
INSERT INTO bigdata.gateway_records_parquet
SELECT * FROM bigdata.gateway_records_text_file;

查询数据(看查询时间):

复制代码
SELECT
    city,
    COUNT(1)
FROM gateway_records_parquet
GROUP BY city;

Time taken: 17.208 seconds, Fetched: 10 row(s)

二、Hive 查询

官方文档:Apache Hive : LanguageManual Select

1. 选择语法

复制代码
[WITH CommonTableExpression (, CommonTableExpression)*]    (Note: Only available starting with Hive 0.13.0)
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
  FROM table_reference
  [WHERE where_condition]
  [GROUP BY col_list]
  [ORDER BY col_list]
  [CLUSTER BY col_list
    | [DISTRIBUTE BY col_list] [SORT BY col_list]
  ]
 [LIMIT [offset,] rows]

2. 案例数据准备

复制代码
-- 创建数据库
CREATE DATABASE dm_db;
-- 创建表(部门表)
CREATE TABLE dept(
    deptno INT COMMENT '部门编号',
    dname STRING COMMENT '部门名称',
    loc INT COMMENT '部门位置'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;
-- 创建表(员工表)
CREATE TABLE emp(
    empno INT COMMENT '员工编号',
    ename STRING COMMENT '员工姓名',
    job STRING COMMENT '员工岗位',
    sal DOUBLE COMMENT '员工薪资',
    deptno INT COMMENT '部门编号'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;
-- 加载数据
LOAD DATA LOCAL INPATH '/root/emp.txt' INTO TABLE emp;
LOAD DATA LOCAL INPATH '/root/dept.txt' INTO TABLE dept;

3. 基础查询

复制代码
SELECT * FROM dept;
SELECT * FROM emp;

SELECT
    deptno,
    dname,
    loc
FROM
    dept;

注意:SQL 语言大小写不敏感;SQL 可以写在一行或多行;关键字不能缩写也不能分开;使用缩进可以提高语句的可读性。

取别名 AS
复制代码
SELECT
    deptno,
    dname AS name,
    loc
FROM
    dept;

别名好处:重命名一个列;便于计算;可以区分相同的字段;AS 可以使用空格替代。

LIMIT 语句
复制代码
SELECT
    empno,
    ename,
    job,
    sal,
    deptno
FROM
    emp
LIMIT 2,3;
WHERE 语句

作用:将不满足条件的行进行过滤;WHERE 子句紧随 FROM 子句后面。

复制代码
SELECT
    empno,
    ename,
    job,
    sal,
    deptno
FROM
    emp
WHERE
    sal > 8000;

注意:WHERE 子句后面不能使用字段别名。


4. 运算符与函数

关系运算符函数
复制代码
=、<=>、!=、<>、<、>、>=、<=、a [NOT] BETWEEN b AND c、a IS NULL、a IS NOT NULL、a [NOT] LIKE b、IN(num1,num2)
逻辑运算函数
复制代码
AND、NOT、OR

SELECT
    empno,
    ename,
    job,
    sal,
    deptno
FROM
    emp
WHERE
    sal > 8000 AND deptno = 30;
聚合函数
复制代码
MAX、MIN、SUM、AVG、COUNT(*)、COUNT(1)、COUNT(列)

SELECT COUNT(*) FROM emp;

5. 分组

GROUP BY 语句
复制代码
SELECT
   AVG(sal),
   deptno
FROM emp
GROUP BY
    deptno;
HAVING 语句

HAVING vs WHERE:

  • WHERE 后面不能跟聚合函数,而 HAVING 语句后面可以使用分组聚合函数。

  • HAVING 只用于 GROUP BY 分组统计语句。 例如:求每个部门的平均薪水高于 4000 的部门。

    SELECT
    deptno,
    AVG(sal) AS avg_sal
    FROM
    emp
    GROUP BY deptno
    HAVING avg_sal > 4000;


6. JOIN

Hive 只支持等值连接,不支持非等值连接。

等值 JOIN
复制代码
SELECT
    empno,
    ename,
    dname
FROM
    emp e JOIN dept d
    ON e.deptno = d.deptno;
内连接
复制代码
SELECT
    empno,
    ename,
    dname
FROM
    emp e JOIN dept d
    ON e.deptno = d.deptno;
左外连接

LEFT JOIN:JOIN 操作符左边表中符合 WHERE 子句的所有记录将会被返回。

复制代码
SELECT
    *
FROM emp e
LEFT JOIN dept d
ON e.deptno = d.deptno;
右外连接

RIGHT JOIN:JOIN 操作符右边表中符合 WHERE 子句所有记录将会被返回。

复制代码
SELECT
    *
FROM emp e
RIGHT JOIN dept d
ON e.deptno = d.deptno;
全外连接(满外连接)

MySQL 中不支持,Hive 可以使用。返回所有表中符合 WHERE 语句条件的所有记录,如果任一表的指定字段没有符合条件的值,那么就使用 NULL 值替代。

复制代码
SELECT
    *
FROM emp e
FULL JOIN dept d
ON e.deptno = d.deptno;

7. 排序查询

ORDER BY

(1)全局排序

  • ASC 升序(默认)

  • DESC 降序

    SELECT
    *
    FROM emp
    ORDER BY sal;

SORT BY

(2)每个 reduce 内部排序 SORT BY:对大规模数据集 ORDER BY 效率非常低,在很多情况下并不需要全局排序,此时使用 SORT BY。 SORT BY 为每一个 reduce 产生一个排序文件,每个 reduce 内部进行排序,对全局结果来说就不是排序。

复制代码
SELECT
    *
FROM
    emp
SORT BY deptno DESC;
DISTRIBUTE BY

分区(Distribute by):

复制代码
SELECT
    *
FROM
    emp
DISTRIBUTE BY deptno
SORT BY sal DESC;
CLUSTER BY

分区排序(Cluster by): CLUSTER BY 只能进行升序排序,兼容 DISTRIBUTE BY 和 SORT BY 的功能。

复制代码
SELECT
    *
FROM
    emp
CLUSTER BY deptno;

三、总结

本文整理了 Hive 中常见的文件格式与查询操作,包括:

  • 三种文件格式:TEXTFILE、ORC、PARQUET 的建表、加载与查询性能对比;
  • Hive SELECT 基础语法;
  • 基础查询、别名、LIMIT、WHERE;
  • 关系运算符、逻辑运算符、聚合函数;
  • GROUP BY、HAVING;
  • 等值 JOIN、内连接、左外连接、右外连接、全外连接;
  • ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY 等排序方式。 掌握这些内容后,可以更高效地在 Hive 中建表、选择文件格式并完成常见查询分析。

参考链接:

相关推荐
旖旎夜光17 分钟前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
饮水桶_T1 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
星恒随风2 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
zdr尽职尽责3 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
蒸蒸yyyyzwd4 小时前
计算机网络后端面试错题
笔记·学习
艾莉丝努力练剑5 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
蒸蒸yyyyzwd6 小时前
数据库相关错题笔记
笔记·学习
蒸蒸yyyyzwd8 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
Hhy_11078 小时前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
艾莉丝努力练剑9 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip