数据仓库建模工具之一——Hive学习第二天

Hive的概述

1、Hive基本概念

1.1 Hive简介

Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。

为什么使用Hive?

使用hadoop，成本太高，项目要求周期太短，MapReduce实现复杂查询逻辑开发难度太大。如果使用hive的话，可以操作接口采用类SQL语法，提高开发能力，免去了写MapReduce功能扩展很方便（比如：开窗函数）。

Hive的特点：

1、可扩展性

​ Hive可以自由的扩展集群的规模，一般情况下不需要重启服务

2、延申性

​ Hive支持自定义函数，用户可以根据自己的需求来实现自己的函数

3、容错

​ 即使节点出现错误，SQL仍然可以完成执行

Hive的优缺点：

优点：

​ 1、操作接口采用类sql语法，提供快速开发的能力（简单、容易上手）

​ 2、避免了去写MapReduce,减少开发人员的学习成本

​ 3、Hive的延迟性比较高，因此Hive常用于数据分析，适用于对实时性要求不高的场合

​ 4、Hive 优势在于处理大数据，对于处理小数据没有优势，因为 Hive 的执行延迟比较高。（不断地开关JVM虚拟机）

​ 5、Hive 支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

​ 6、集群可自由扩展并且具有良好的容错性，节点出现问题SQL仍可以完成执行

缺点：

​ 1、Hive的HQL表达能力有限

​ （1）迭代式算法无法表达 （反复调用，mr之间独立，只有一个map一个reduce，反复开关）

​ （2）数据挖掘方面不擅长

​ 2、Hive 的效率比较低

​ （1）Hive 自动生成的 MapReduce 作业，通常情况下不够智能化

​ （2）Hive 调优比较困难，粒度较粗 （hql根据模板转成mapreduce，不能像自己编写mapreduce一样精细，无法控制在map处理数据还是在reduce处理数据）

Hive和传统数据库对比

hive和mysql什么区别？

1.2 Hive架构

1.2.1 Client

Hive允许client连接的方式有三个CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问 hive）。JDBC访问时中间件Thrift软件框架，跨语言服务开发。DDL DQL DML,整体仿写一套SQL语句。

​ 1）client--需要下载安装包

​ 2）JDBC/ODBC 也可以连接到Hive

​ 现在主流都在倡导第二种 HiveServer2/beeline

​ 做基于用户名和密码安全的一个校验

​ 3）Web Gui

​ hive给我们提供了一套简单的web页面

​ 我们可以通过这套web页面访问hive 做的太简陋了

1.2.2 Metastore

元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是 外部表）、表的数据所在目录等。

​ 一般需要借助于其他的数据载体（数据库）

​ 主要用于存放数据库的建表语句等信息

​ 推荐使用Mysql数据库存放数据

​ 连接数据库需要提供：uri username password driver

1.2.3 Driver（面试题：sql语句是如何转化成MR任务的？）

元数据存储在数据库中，默认存在自带的derby数据库（单用户局限性）中，推荐使用Mysql进行存储。

​ 1） 解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST（从3.x版本之后，转换成一些的stage），即检验SQL语句是否正确，完整，比如表是否存在、字段是否存在、SQL语义是否有误。

​ 2） 编译器（Physical Plan）：将AST编译（从3.x版本之后，转换成一些的stage）生成逻辑执行计划。

​ 3） 优化器（Query Optimizer）：对逻辑执行计划进行优化，将一些可以进行合并的计划进行优化。

​ 4） 执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是 MR/Spark/flink。

1.2.4 数据处理

Hive的数据存储在HDFS中，计算由MapReduce完成。HDFS和MapReduce是源码级别上的整合，两者结合最佳。解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。

1.4 Hive的三种交互方式

1）第一种交互方式

shell交互Hive，用命令hive启动一个hive的shell命令行，在命令行中输入sql或者命令来和Hive交互。

服务端启动metastore服务（后台启动）：nohup hive --service metastore &
进入命令:hive
退出命令行：quit;

2）第二种交互方式

Hive启动为一个服务器，对外提供服务，其他机器可以通过客户端通过协议连接到服务器，来完成访问操作，这是生产环境用法最多的

服务端启动hiveserver2服务：
nohup hive --service metastore &
nohup hiveserver2 &

需要稍等一下，启动服务需要时间：
进入命令:1)先执行： beeline ，再执行： !connect jdbc:hive2://master:10000 
        2)或者直接执行：  beeline -u jdbc:hive2://master:10000 -n root
退出命令行：!exit

3）第三种交互方式

使用 --e 参数来直接执行hql的语句

bin/hive -e "show databases;"

使用 --f 参数通过指定文本文件来执行hql的语句

特点：执行完sql后，回到linux命令行。

vim hive.sql

create database bigdata30_test;
use bigdata30_test;

create table test1
(
    id bigint,
    name string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

show tables;

hive -f hive.sql

4）hive cli和beeline cli的区别

1.5 Hive元数据

Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。

1、存储Hive版本的元数据表(VERSION)，该表比较简单，但很重要,如果这个表出现问题，根本进不来Hive-Cli。比如该表不存在，当启动Hive-Cli的时候，就会报错"Table 'hive.version' doesn't exist"

2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)

​ DBS：该表存储Hive中所有数据库的基本信息。

​ DATABASE_PARAMS：该表存储数据库的相关参数。

3、Hive表和视图相关的元数据表

​ 主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

​ TBLS :该表中存储Hive表，视图，索引表的基本信息。

​ TABLE_PARAMS:该表存储表/视图的属性信息。

​ TBL_PRIVS：该表存储表/视图的授权信息。

4、Hive文件存储信息相关的元数据表

​ 主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS，由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

​ SDS ：该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

​ SD_PARAMS: 该表存储Hive存储的属性信息。

​ SERDES:该表存储序列化使用的类信息。

​ SERDE_PARAMS :该表存储序列化的一些属性、格式信息，比如:行、列分隔符。

5、Hive表字段相关的元数据表

​ 主要涉及COLUMNS_V2：该表存储表对应的字段信息。