hive架构简述

Hive起源于Facebook,Facebook公司有着大量的日志数据,而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架,可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发,但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具,而Hive就诞生于此,只要懂SQL语言,就能够胜任大数据分析方面的工作,还节省了开发人员的学习成本。

Hive是建立在Hadoop文件系统上的数据仓库,它提供了一系列工具,能够对存储在HDFS中的数据进行数据提取、转换和加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。Hive定义简单的类SQL查询语言(即HQL),可以将结构化的数据文件映射为一张数据表,允许熟悉SQL的用户查询数据,允许熟悉MapReduce的开发者开发mapper和reducer来处理复杂的分析工作,与MapReduce相比较,Hive更具有优势。Hadoop 集群架构

Hadoop 集群主要由两个部分组成:HDFS(Hadoop Distributed File System)集群和 YARN(Yet Another Resource Negotiator)集群。

  1. HDFS 集群 :负责海量数据的存储。
    • NameNode:主节点,负责管理文件系统的命名空间和控制对文件的访问。
    • DataNode:数据节点,负责存储实际的数据。
    • SecondaryNameNode:辅助NameNode,主要用来合并编辑日志和文件系统映像,以防NameNode故障。
  2. YARN 集群 :负责海量数据运算时的资源调度。
    • ResourceManager:全局资源管理器,负责整个集群资源的分配和任务调度。
    • NodeManager:节点资源管理器,负责单个节点上的资源管理和任务监控。

Hive 架构

Hive 架构主要包括以下几个部分:

  1. 用户接口(Client):包括命令行接口(CLI)、JDBC/ODBC接口以及Web UI,用户通过这些接口提交SQL查询语句。
  2. 元数据存储(Metastore):存储表的元数据信息,如表名、列名、表的数据位置等。这些信息存储在关系型数据库中,如MySQL。
  3. Hive Driver:负责接收用户的查询语句,并调用元数据和查询处理器进行处理。
  4. 查询处理器(Query Processor):将用户提交的HiveQL语句转换为MapReduce或Tez等可执行计划。查询处理器包括解析器、编译器、优化器和执行器四个部分。
  5. Hive Execution Engine:执行计划的实际执行者,默认使用Hadoop MapReduce,也可以配置使用Apache Tez或Apache Spark。

Hive是底层封装了Hadoop的数据仓库处理工具,运行在Hadoop基础上,其系统架构组成主要包含4部分,分别是用户接口、跨语言服务、底层驱动引擎及元数据存储系统

基于Hadoop搭建的Hive执行查询流程和架构

  1. 用户提交查询:用户通过 Hive 界面(命令行或 Web UI)将查询发送到 Hive Driver。
  2. 获取计划:Hive Driver 借助查询编译器解析查询,检查语法和查询计划或要求。
  3. 获取元数据:编译器将元数据请求发送到 Metastore,以获取与查询相关的元数据信息。
  4. 发送元数据:Metastore 将元数据作为响应发送给编译器。
  5. 发送计划:编译器检查需求并将计划重新发送给 Hive Driver。至此,查询的解析和编译已经完成。
  6. 执行计划:Hive Driver 将执行计划发送给执行引擎,如MapReduce、Tez或Spark。
  7. 执行作业:作业的执行过程内部是一个 MapReduce 作业。执行引擎将作业发送到 YARN 的 ResourceManager,并将该作业分配给数据节点的 NodeManager。此外,查询在此阶段执行 MapReduce 作业。
  8. 元数据操作:在执行过程中,执行引擎可以通过 Metastore 执行元数据操作。
  9. 获取结果:执行结束后,执行引擎从数据节点接收结果。
  10. 发送结果:获取结果后,执行引擎将这些结果值发送给 Hive Driver,最终发送到 Hive 接口

Hive工作原理

Hive建立在Hadoop系统之上,因此Hive底层工作依赖于Hadoop服务,Hive底层工作原理如下所示。

(1) CLI将用户提交的HiveQL语句发送给DRIVER。

(2) DRIVER将HiveQL语句发送给COMPILER获取执行计划。

(3) COMPILER从METASTORE获取HiveQL语句所需的元数据。

(4) METASTORE将查询到的元数据信息发送给COMPILER。

(5) COMPILER得到元数据后,首先将HiveQL语句转换为抽象语法树,然后将抽象语法树转换为查询块,接着将查询块转换为逻辑执行计划,最后将逻辑执行计划转换为物理执行计划,并将物理执行计划解析为MapReduce任务发送给DRIVER。

(6) DRIVER将MapReduce任务发送给EXECUTION ENGINE(执行引擎)执行。

(7) CLI向DRIVER发送获取HiveQL语句执行结果的请求。

(8) DRIVER与EXECUTION ENGINE进行通信,请求获取HiveQL语句执行结果的请求。

(9) EXECUTION ENGINE向NameNode发送请求获取HiveQL语句执行结果的请求。

相关推荐
Java技术小馆1 分钟前
SpringBoot中暗藏的设计模式
java·面试·架构
Lei活在当下1 小时前
【现代 Android APP 架构】01. APP 架构综述
android·设计模式·架构
前端大白话1 小时前
深入理解 JavaScript 中 async 函数与 await 关键字的执行奥秘
前端·javascript·架构
大数据魔法师1 小时前
Hadoop生态圈框架部署 - Windows上部署Hadoop
大数据·hadoop·windows
渣渣盟1 小时前
大数据开发环境的安装,配置(Hadoop)
大数据·hadoop·分布式
gs801407 小时前
深度解析:从12306看混合云架构下的高并发系统设计
架构·12306
weixin_307779138 小时前
分层设计数据仓库的架构和设计高效数据库系统的方法
数据仓库·架构
喝拿铁写前端12 小时前
从圣经Babel到现代编译器:没开玩笑,普通程序员也能写出自己的编译器!
前端·架构·前端框架
IT成长日记12 小时前
【Hive入门】Hive查询语言(DQL)完全指南:从基础查询到高级分析
数据仓库·hive·hadoop·dql操作
橘猫云计算机设计13 小时前
springboot基于hadoop的酷狗音乐爬虫大数据分析可视化系统(源码+lw+部署文档+讲解),源码可白嫖!
数据库·hadoop·spring boot·爬虫·python·数据分析·毕业设计