Hive理论讲解

Hive介绍

1、Hive本质

Hive本质是【数仓设计方案】,hive本身并不存储数据【数据包含:元数据 + (表)数据】。

2、hql和sql对比

  1. sql = 结构化查询语言【structured query language】
  2. hql = hive/hadoop类sql查询语言 【hive/hadoop query language like sql】
    说明 :对于hql而言,表面是sql。实际上,数据存储HDFS执行引擎Spark,MapReduce,Pig,Tez等

3、数据存储

  • 元数据 存储于RDB[关系型数据库]中。其默认存储于DERBY中,但一般在生产环境 下存储于mysql中。
  • (表)数据 存储于HDFS中。

补充:元数据的讲解

元数据(Metadata)是指描述数据的数据,它提供关于数据集、资源、文件、系统或者业务流程的额外信息,其中就包含库名,表名,字段,数据类型等。

在Hive中,元数据 则是由HiveMetaStore统一管理,进行存储、管理、保护和查询等操作。

4、计算引擎

MapReduce

  • Map:清洗,列变形,列裁剪
  • Map+Reduce:聚合

Spark

  • 1、Job中间输出结果可以保存在内存,不再需要读写HDFS
  • 2、速度快,比MapReduce平均快10倍以上

5、Hive层次结构【元数据映射】

逻辑结构 物理结构
文件夹(与库同名.db)
文件夹(与表同名)
分区 文件夹 (格式:分区字段名=分区字段值)
数据 文件
分桶 小文件(目的:抽样和数据修改)

6、Hive执行过程

复制代码
1.UI客户端发出请求 executeQuery[执行查询语句]
2.Driver[驱动] 通过 Compiler 进行编译
3.Compiler 需要向 MetaStore 请求元数据。
编译过程:
	Compiler[驱动] 得到 元数据 后
	先 生成 逻辑执行计划 
	再 通过优化形成 物理执行计划
4.将 物理执行计划 通过 Driver[驱动] 交给 ExecutionEngine[执行引擎]
5.ExecutionEngine[执行引擎] 将 物理执行计划 交给 hadoop的MapReduce进行job任务。
6.最终结果落盘到datanode上。
7.UI客户端 向 Driver[驱动] 发起请求 fetchResults
8.Driver 通过 ExecutionEngine[执行引擎] 从 datanode 上将数据拉过来,交给 UI客户端。
相关推荐
viperrrrrrrrrr712 分钟前
大数据学习(115)-hive与impala
大数据·hive·学习·impala
麻芝汤圆18 分钟前
在 IDEA 中写 Spark 程序:从入门到实践
java·大数据·hadoop·分布式·安全·spark·intellij-idea
!chen14 小时前
Hadoop和Spark大数据挖掘与实战
hadoop·数据挖掘·spark
Bob999816 小时前
Amlogic S905L3系列盒子 ROM DIY相关
java·javascript·数据仓库·vscode·eclipse·tomcat·vim
weixin_3077791318 小时前
AWS Glue ETL设计与调度最佳实践
开发语言·数据仓库·云计算·etl·aws
IT成长日记20 小时前
【Hive入门】Hive分区与分区表完全指南:从原理到企业级实践
数据仓库·hive·hadoop·hive分区·hive分区表
晴天彩虹雨1 天前
Flink 消费 Kafka 数据流的最佳实践
数据仓库·flink·kafka·linq
柳如烟@1 天前
Hadoop伪分布式模式搭建全攻略:从环境配置到实战测试
大数据·hadoop·分布式·mysql
Leo.yuan1 天前
数据仓库建设全解析!
大数据·数据库·数据仓库·数据分析·spark
Aimyon_361 天前
Apache Sqoop数据采集问题
hadoop·apache·sqoop