Hive 入门&架构原理

按「定义→架构→流程→核心概念→生产配置」梳理。


一、Hive 核心定义

  1. 定位:Hive 是 Facebook 开源的、基于 Hadoop 的数据仓库工具,提供类 SQL(HQL)查询能力,将结构化数据文件映射为表。
  2. 本质:Hive 是 Hadoop 的客户端工具,自身不存储数据、不执行计算;核心能力是「SQL 翻译 + 元数据管理」。
  3. 底层依赖:数据存储在 HDFS,计算默认由 MapReduce 实现(可切换为 Spark / Tez),任务运行在 Yarn 上。

二、四大核心架构模块

1. Client(用户接口层)

  • 作用:接收用户提交的 HQL,作为访问 Hive 的入口。
  • 两种形式:CLI(命令行终端,本地调试用)、JDBC/ODBC(远程访问,生产环境通过 HiveServer2 服务代理访问)。
  • 重点:HiveServer2 是生产环境的访问代理,负责权限控制、远程连接管理。

2. Metastore(元数据中心)

  • 作用:存储所有元数据,包括库名、表名、字段定义、分区信息、数据在 HDFS 的存储路径、表类型等。
  • 核心价值:Hive 读写数据的「目录索引」,Driver 执行 SQL 前必须先查询 Metastore 才能定位数据。
  • 存储介质:
    • 默认:Derby 嵌入式数据库,仅支持单客户端访问,只适合本地测试。
    • 生产标准:MySQL,支持多客户端并发访问,满足多人协作开发。

3. Driver(SQL 翻译执行器)

  • 作用:将 HQL 字符串一步步转化为可在 Hadoop 上运行的计算任务,是 Hive 的「大脑」。
  • 执行三大阶段: ① 解析阶段 :SQL Parser 生成抽象语法树(AST),Semantic Analyzer 做语义校验(表/字段合法性、权限校验)。 ② 优化阶段 :生成逻辑计划 → 逻辑优化(如谓词下推)→ 生成物理计划 → 物理优化(如 Join 算法选择、并行度调整)。 ③ 执行阶段:Execution 执行器将最终物理计划提交给 Yarn 启动任务。

4. Hadoop 层(存储计算底座)

  • 存储:HDFS,Hive 一张表对应 HDFS 一个目录,数据以文件形式存储。
  • 计算:默认 MapReduce,可切换 Spark / Tez 等引擎。
  • 调度:Yarn 负责资源分配与任务调度。

三、一条 HQL 的完整执行流程

  1. 用户通过 Client 提交 HQL 语句到 HiveServer2。
  2. Driver 接收语句,进行语法解析,生成抽象语法树。
  3. 语义分析器校验表、字段、权限,校验通过后继续。
  4. Driver 访问 Metastore,查询 SQL 涉及表的元数据(存储路径、结构等)。
  5. 生成逻辑执行计划,经过逻辑优化后生成物理执行计划。
  6. 执行器将物理计划提交给 Yarn,启动 MapReduce 任务去 HDFS 读写数据、完成计算。
  7. 计算结果返回 HDFS,再经 Driver 逐层返回给客户端。

四、核心概念辨析

1. 逻辑计划 vs 物理计划

  • 逻辑计划:描述「要做什么操作」,只定义步骤(扫描→过滤→分组→聚合),和底层计算引擎无关。
  • 物理计划:描述「具体怎么跑」,绑定具体计算引擎,定义 Map/Reduce 数量、Shuffle 方式、Join 算法等。

2. 内部表 vs 外部表

  • 内部表(管理表):Hive 完全管理元数据和数据文件,删除表时 HDFS 数据同步删除。
  • 外部表:Hive 只管理元数据,数据文件由外部系统管理;删除表时只删元数据,不删 HDFS 数据;适合多工具共享数据的场景。

五、生产环境标准配置

  1. Metastore 采用独立服务模式 + MySQL 存储,支持多用户并发。
  2. 通过 HiveServer2 提供远程 JDBC 访问,开启用户模拟做权限隔离。
  3. 计算引擎可切换为 Spark / Tez 提升性能,MapReduce 为默认兜底。
相关推荐
Decay__2 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
starzy19903 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
安易算力3 小时前
智算中心网络架构选型:RDMA/IB/以太网深度对比与落地实践
网络·架构
AI_Auto5 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
Learn_PLC5 小时前
自动化工程师市场需求与PLC职位分析:把握工业4.0时代的就业机会
架构
vlans5 小时前
Go:用装饰器给通知发送加上日志
后端·架构
一条Go5 小时前
探测规则:为什么它是告警规则的一种,而不是独立的任务体系
后端·架构·github
未来之窗软件服务5 小时前
API接口安全与合作商业秘密架构-东方仙盟
安全·架构·接口安全·仙盟创梦ide·东方仙盟·终端架构
TiDB 社区干货传送门7 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
mysql·架构·tidb
谙弆悕博士20 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状