目录

hive架构简述

Hive起源于Facebook,Facebook公司有着大量的日志数据,而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架,可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发,但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具,而Hive就诞生于此,只要懂SQL语言,就能够胜任大数据分析方面的工作,还节省了开发人员的学习成本。

Hive是建立在Hadoop文件系统上的数据仓库,它提供了一系列工具,能够对存储在HDFS中的数据进行数据提取、转换和加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。Hive定义简单的类SQL查询语言(即HQL),可以将结构化的数据文件映射为一张数据表,允许熟悉SQL的用户查询数据,允许熟悉MapReduce的开发者开发mapper和reducer来处理复杂的分析工作,与MapReduce相比较,Hive更具有优势。Hadoop 集群架构

Hadoop 集群主要由两个部分组成:HDFS(Hadoop Distributed File System)集群和 YARN(Yet Another Resource Negotiator)集群。

  1. HDFS 集群 :负责海量数据的存储。
    • NameNode:主节点,负责管理文件系统的命名空间和控制对文件的访问。
    • DataNode:数据节点,负责存储实际的数据。
    • SecondaryNameNode:辅助NameNode,主要用来合并编辑日志和文件系统映像,以防NameNode故障。
  2. YARN 集群 :负责海量数据运算时的资源调度。
    • ResourceManager:全局资源管理器,负责整个集群资源的分配和任务调度。
    • NodeManager:节点资源管理器,负责单个节点上的资源管理和任务监控。

Hive 架构

Hive 架构主要包括以下几个部分:

  1. 用户接口(Client):包括命令行接口(CLI)、JDBC/ODBC接口以及Web UI,用户通过这些接口提交SQL查询语句。
  2. 元数据存储(Metastore):存储表的元数据信息,如表名、列名、表的数据位置等。这些信息存储在关系型数据库中,如MySQL。
  3. Hive Driver:负责接收用户的查询语句,并调用元数据和查询处理器进行处理。
  4. 查询处理器(Query Processor):将用户提交的HiveQL语句转换为MapReduce或Tez等可执行计划。查询处理器包括解析器、编译器、优化器和执行器四个部分。
  5. Hive Execution Engine:执行计划的实际执行者,默认使用Hadoop MapReduce,也可以配置使用Apache Tez或Apache Spark。

Hive是底层封装了Hadoop的数据仓库处理工具,运行在Hadoop基础上,其系统架构组成主要包含4部分,分别是用户接口、跨语言服务、底层驱动引擎及元数据存储系统

基于Hadoop搭建的Hive执行查询流程和架构

  1. 用户提交查询:用户通过 Hive 界面(命令行或 Web UI)将查询发送到 Hive Driver。
  2. 获取计划:Hive Driver 借助查询编译器解析查询,检查语法和查询计划或要求。
  3. 获取元数据:编译器将元数据请求发送到 Metastore,以获取与查询相关的元数据信息。
  4. 发送元数据:Metastore 将元数据作为响应发送给编译器。
  5. 发送计划:编译器检查需求并将计划重新发送给 Hive Driver。至此,查询的解析和编译已经完成。
  6. 执行计划:Hive Driver 将执行计划发送给执行引擎,如MapReduce、Tez或Spark。
  7. 执行作业:作业的执行过程内部是一个 MapReduce 作业。执行引擎将作业发送到 YARN 的 ResourceManager,并将该作业分配给数据节点的 NodeManager。此外,查询在此阶段执行 MapReduce 作业。
  8. 元数据操作:在执行过程中,执行引擎可以通过 Metastore 执行元数据操作。
  9. 获取结果:执行结束后,执行引擎从数据节点接收结果。
  10. 发送结果:获取结果后,执行引擎将这些结果值发送给 Hive Driver,最终发送到 Hive 接口

Hive工作原理

Hive建立在Hadoop系统之上,因此Hive底层工作依赖于Hadoop服务,Hive底层工作原理如下所示。

(1) CLI将用户提交的HiveQL语句发送给DRIVER。

(2) DRIVER将HiveQL语句发送给COMPILER获取执行计划。

(3) COMPILER从METASTORE获取HiveQL语句所需的元数据。

(4) METASTORE将查询到的元数据信息发送给COMPILER。

(5) COMPILER得到元数据后,首先将HiveQL语句转换为抽象语法树,然后将抽象语法树转换为查询块,接着将查询块转换为逻辑执行计划,最后将逻辑执行计划转换为物理执行计划,并将物理执行计划解析为MapReduce任务发送给DRIVER。

(6) DRIVER将MapReduce任务发送给EXECUTION ENGINE(执行引擎)执行。

(7) CLI向DRIVER发送获取HiveQL语句执行结果的请求。

(8) DRIVER与EXECUTION ENGINE进行通信,请求获取HiveQL语句执行结果的请求。

(9) EXECUTION ENGINE向NameNode发送请求获取HiveQL语句执行结果的请求。

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
无尽星海max2 小时前
M芯片,能运行普通应用程序的原架构虚拟机
windows·架构
2301_783856002 小时前
反思微服务:模块化 Jar 包方案能否取而代之?
微服务·架构·jar
晓风残月淡3 小时前
Kubernetes详细教程(一):入门、架构及基本概念
容器·架构·kubernetes
郭涤生6 小时前
微服务系统记录
笔记·分布式·微服务·架构
Aska_Lv8 小时前
生产问题讨论---4C8G的机器,各项系统指标,什么范围算是正常
后端·面试·架构
萧鼎9 小时前
下一代AI App架构:前端生成,后端消失
前端·人工智能·架构
Kale又菜又爱玩9 小时前
深入探索Redisson:用法全解析及在微服务中的关键应用
redis·微服务·架构
小小工匠11 小时前
架构思维:熔断机制深度解析
架构·熔断机制
道友老李12 小时前
【微服务架构】SpringCloud Alibaba(九):分布式事务Seata使用和源码分析(多数据源、接入微服务应用、XA模式设计思路)
spring cloud·微服务·架构
云计算运维丁丁12 小时前
ceph集群架构阐述
ceph·架构