【Hive】Hive简介概述、安装、基础语法、表及数据操作（一）

Hive

简介

概述

Hive是由Facobook开发的后来贡献给了Apache的一套用于进行数据仓库管理的工具，使用类SQL语言来对分布式文件系统中的PB级别的数据来进行读写、管理以及分析
Hive基于Hadoop来使用的，底层的默认计算引擎使用的是MapReduce。Hive利用类SQL(HQL，Hive Query Language)语言来操作数据，但是底层是将SQL转化为MapReduce来执行，也因此，Hive更适合于处理离线分析场景
Hive可以屏蔽掉不同语言之间的差异性，降低了大数据的入门门槛
Hive的支持的计算引擎：MapReduce、Tez、Spark。底层默认使用的是MapReduce，但是效率最高的是Spark
在Hive中，库名、表名、字段名、字段类型、分区、分桶等信息属于元数据，是存储在数据库中，默认支持的是Derby。但是Derby本身是一个单连接的数据库，所以会将Hive的元数据库替换为MySQL。注意：Hive的元数据是存储在数据库的，Hive的数据是放在HDFS上！

版本

到目前为止，Hive一共有4个版本：Hive1.X和Hive4.X
Hive4.X一共有3个小版本(alpha1、alpha2、beta1)，目前都是测试版
目前，在市面上，Hive1.x到Hive3.x都在使用，其中Hive1.x逐渐被抛弃，现在市面上使用较多的是Hive2.x和Hive3.x
Hive3.x需要基于Hadoop3.x使用，Hive2.x需要基于Hadoop2.x使用

安装

安装MySQL

CentOS7自带MySQL，需要先卸载这个MySQL：

sh 复制代码

rpm -qa | grep -i mysql | xargs rpm -ev --nodeps
rpm -qa | grep -i mariadb | xargs rpm -ev --nodeps

扇出MySQL可能残留的配置文件

sh 复制代码

find / -name mysql | xargs rm -rf
find / -name my.cnf | xargs rm -rf
rm -rf /var/lib/mysql/

进入预安装目录，上传或者下载MySQL的安装包
sh 复制代码
```
cd /opt/presoftware/
# 上传/下载MySQL的安装包
```

解压

sh 复制代码

tar -xvf mysql-5.7.33-1.el7.x86_64.rpm-bundle.tar

安装MySQL，并且顺序不能颠倒！！！

sh 复制代码

rpm -ivh mysql-community-common-5.7.33-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.33-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.33-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-compat-5.7.33-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.33-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.33-1.el7.x86_64.rpm

启动MySQL
sh 复制代码
```
systemctl start mysqld
```
第一次安装MySQL，会自动生成初始密码
sh 复制代码
```
grep "temporary password" /var/log/mysqld.log
```
登陆MySQL
sh 复制代码
```
mysql -u root -p
# 输入初始密码
```
默认情况下，MySQL的规则要求，密码至少要包含12个字符，至少包含1个大写字母、1个小写字母、1个数字和1个特殊符号。在实际开发过程中，密码肯定要求复杂度；学习环境下，密码不需要这么复杂，所以需要修改MySQL的密码规则
mysql 复制代码
```
-- 修改MySQL关于密码长度的限制
set global validate_password_length = 4;
-- 修改MySQL关于密码字符类型的限制
set global validate_password_policy = 0;
```

修改MySQL的密码

mysql 复制代码

-- 为root@localhost设置密码为root
set PASSWORD FOR 'root'@'localhost' = "root";

配置MySQL的远程连接

mysql 复制代码

-- 开放权限
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
-- 策略生效
flush privileges;

测试

sh 复制代码

# 退出MySQL
quit;
# 重新进入MySQL
mysql -u root -p

安装Hive

进入预安装目录，上传或者下载Hive的安装包。注意：上课使用的Hive的安装包不是官网提供的，而是我们自己编译好的。官网提供的Hive安装包，最多支持Spark2，但是现在使用的比较多的Spark3版本，也因此，实际过程中，如果想要让Hive支持Spark3，就意味着需要自己下载Hive的源代码并且修改，自己编译！！！
sh 复制代码
```
cd /opt/presoftware/
# 上传/下载安装包
```

解压

sh 复制代码

tar -xvf apache-hive-3.1.3-bin.tar.gz -C /opt/software/

重命名

sh 复制代码

cd ../software/
mv apache-hive-3.1.3-bin/ hive-3.1.3

配置环境变量

sh 复制代码

# 编辑文件
vim /etc/profile.d/hivehome.sh
# 在文件中添加
export HIVE_HOME=/opt/software/hive-3.1.3
export PATH=$PATH:$HIVE_HOME/bin
# 保存退出，生效
source /etc/profile.d/hivehome.sh
# 测试
 hive --version

解决Hive的日志jar包冲突的问题

sh 复制代码

cd hive-3.1.3/lib/
mv log4j-slf4j-impl-2.17.1.jar log4j-slf4j-impl-2.17.1.bak

给Hive添加MySQL的连接驱动

修改Hive的配置

sh 复制代码

cd ../conf
# 编辑文件
vim hive-site.xml

在文件中添加

xml 复制代码

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--Hive元数据库-->
	<property>
		<name>hive.metastore.db.type</name>
		<value>mysql</value>
	</property>
	<!--MySQL连接地址-->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://hadoop01:3306/hive?useSSL=false</value>
	</property>
	<!--MySQL驱动-->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<!--MySQL用户名-->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<!--MySQL密码-->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
	<!--Hive元数据的存储位置-->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
	</property>
	<!--Hive元数据的约束-->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
	<!--Hive元数据的访问位置-->
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://hadoop01:9083</value>
	</property>
	<!--Hive服务的访问端口-->
	<property>
		<name>hive.server2.thrift.port</name>
		<value>10000</value>
	</property>
	<!--Hive服务监听的主机-->
	<property>
		<name>hive.server2.thrift.bind.host</name>
		<value>hadoop01</value>
	</property>
	<!--Hive的自动认证-->
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
	<property>
		<name>datanucleus.schema.autoCreateAll</name>
		<value>true</value>
	</property>
</configuration>

初始化元数据库
sh 复制代码
```
# 进入MySQL
mysql -u root -p
```
在MySQL中建立元数据库，注意元数据库的编码必须是latin1
mysql 复制代码
```
create database hive character set latin1;
-- 退出
quit;
```
初始化元数据库
sh 复制代码
```
schematool -initSchema -dbType mysql --verbose
```
因为Hive基于Hadoop的(利用HDFS存储数据，利用MapReduce计算)，所以需要启动Hadoop
sh 复制代码
```
start-all.sh
```
启动Hive的元数据服务
sh 复制代码
```
hive --service metastore &
```
启动Hive
sh 复制代码
```
hive
```

基础语法

注意问题

Hive中，如果不指定，默认只有一个库default
在Hive中，每一个database对应了HDFS上的一个目录。默认情况下，database是放在HDFS的/user/hive/warehouse下
在Hive中，没有主键的概念，也不支持主键
Hive中的每一个表也对应了HDFS上的一个目录
Hive中建表的时候需要指定字段之间的间隔符号，表一旦建好，字段之间的间隔符号就不能变化！
Hive的数据默认支持insert和select，默认不支持delete和update。如果需要支持delete和update操作，那么在建表的时候，需要指定Hive数据在HDFS上的文件存储类型必须是orc和parquet格式

库操作

查看所有的库
sql 复制代码
```
show databases;
```
建库
sql 复制代码
```
create database demo;
```
删除库。要求库必须是空的
sql 复制代码
```
drop database demo;
```
建库的时候指定库的存储位置
sql 复制代码
```
create database demo location '/demo.db';
```
利用正则表达式过滤符合要求的库
sql 复制代码
```
show databases like 'd*';
```
建库的时候，判断库是否存在。如果不存在，那么建库
sql 复制代码
```
create database if not exists demo;
```
强制删除库
sql 复制代码
```
drop database demo cascade;
```
使用库
sql 复制代码
```
use demo;
```

建库的时候还给库指定属性

sql 复制代码

create database demo2 with dbproperties('create_time'='2024-03-26');

描述库
sql 复制代码
```
desc database demo2;
```
描述库的详细信息
sql 复制代码
```
desc database extended demo2;
```

修改库的属性

sql 复制代码

alter database demo2 set dbproperties('create_time'='024-03-27');

表及数据操作

创建表

sql 复制代码

create table person ( id int, name string, age int);

插入数据
sql 复制代码
```
insert into table person values(1, 'Amy', 15);
```
转化为MapReduce执行
查询数据
sql 复制代码
```
select * from person;
```

加载数据 - 实际上就是将文件上传到HDFS上，加载速度和文件的上传速度相关

sql 复制代码

load data local inpath '/opt/hive_data/person' into table person;
-- load data 加载数据
-- local 本地
-- inpath 输入路径

删除表
sql 复制代码
```
drop table person;
```

建立person表，指定字段之间的间隔符号是空格

sql 复制代码

create table person ( id int, name string, age int) row format delimited fields terminated by ' '; 
-- row format 对数据进行按行的处理
-- delimited 对什么数据进行拆分
-- fields 字段、属性
-- terminated by ' ' 用什么拆分

查看所有的表
sql 复制代码
```
show tables;
```
描述表
sql 复制代码
```
desc person
```
创建p2表，p2的表结构和person一样
sql 复制代码
```
create table p2 like person;
```
如果p3表不存在，那么创建p3表，表结构和person一样
sql 复制代码
```
create table if not exists p3 like person;
```

创建p4表，表结构以及数据都和person一样(复制person表)

sql 复制代码

-- 将person的数据全部查询出来，根据查询数据的结构来建立p4表并放入数据
create table p4 as select * from person;
select * from p4;

将person表中age>=18的数据查询出来，放入p2表中
sql 复制代码
```
insert into table p2 select * from person where age >= 18;
```
注意：insert into表示向表中追加数据，insert overwrite先将表中的数据清空掉，然后再覆盖写入
从person表中查询数据，将id<5的数据覆盖到p2表中，将age<18的数据写入到p3表中
sql 复制代码
```
from person
 insert overwrite table p2 select * where id < 5
 insert into table p3 select * where age < 18;
```
将person表中id>5的数据查询出来放到HDFS的/person目录下，字段之间用,间隔
sql 复制代码
```
insert overwrite directory '/person' row format delimited fields terminated by ',' select * from person where id > 5;
```
如果是将数据写到Hive之外的地方，此时只能使用insert overwrite，所以要求输出路径必须为空。如果输出路径不为空，那么会将输出路径下的所有文件给清空！！！

Hive除了支持将结果写到HDFS上，还支持写到本地磁盘上

sql 复制代码

insert overwrite local directory '/opt/hive_demo' row format delimited fields terminated by '\t' select * from person where age >= 18;

同样，要求输出路径必须为空！！！

将person表重命名为p1
sql 复制代码
```
alter table person rename to p1;
```
将p1表的id字段改为pid，类型改为string
sql 复制代码
```
alter table p1 change column id pid string;
```
在p1表中新增字段：gender，类型是string
sql 复制代码
```
alter table p1 add columns(gender string);
```

表结构

内部表和外部表

在Hive中，所有的表分为内部表(又叫管理表，Managed Table )和外部表(External Table)
一般而言，在Hive中，手动建表手动添加数据的表，大部分是内部表；在Hive中，建表管理HDFS上已经存在的数据，这个表称之为外部表
可以通过
sql 复制代码
```
desc extended p1;
-- 或者
desc formatted p1;
```
如果是内部表，那么tableType的值MANAGED_TABLE；如果是外部表，那么tableType的值EXTERNAL_TABLE

建立外部表

sql 复制代码

create external table flows (
    phone string,
    city string,
    name string,
    upFlow int,
    downFlow int
) row format delimited fields terminated by ' '
 location '/flow';

查询数据

sql 复制代码

-- tablesample，抽样函数
select * from flows tablesample(5 rows);

删除内部表，那么对应的元数据和HDFS上的目录都会删除；删除外部表，那么只删除元数据但是不删除HDFS上的目录
在实际过程中，项目前期使用外部表，中后期使用内部表

内部表转化为外部表

sql 复制代码

alter table p3 set tblproperties ( 'EXTERNAL' = 'true');

外部表转化为内部表

sql 复制代码

alter table p3 set tblproperties ( 'EXTERNAL' = 'false');

分区表

分区表的最常见的作用也是对数据进行分类

案例

原始数据

sql 复制代码

-- wei
1 荀彧
2 荀攸
3 贾诩
4 郭嘉
-- shu
1 孙乾
2 简雍
3 糜竺
4 庞统
-- wu
1 陆逊
2 张昭
3 鲁肃
4 周瑜

在Hive中建表，管理数据，同时区分数据对应的国家

sql 复制代码

create table heros (
    id int, -- 编号
    name string -- 姓名
) partitioned by (country string)
 row format delimited fields terminated by ' ';

查看表
sql 复制代码
```
desc heros;
```

将数据加载到表中。当向分区表中加载数据的时候，如果没有指定分区，那么会将数据放入默认分区__HIVE_DEFAULT_PARTITION__

sql 复制代码

load data local inpath '/opt/hive_data/wei' into table heros partition(country = 'wei');
load data local inpath '/opt/hive_data/shu' into table heros partition(country = 'shu');
load data local inpath '/opt/hive_data/wu' into table heros partition(country = 'wu');

在Hive中，每一个分区对应HDFS上一个单独的目录！！！
在分区表中，当查询数据的时候以分区作为查询条件，可以提高查询效率；如果进行跨分区查询，那么此时效率会降低
手动在HDFS上创建的目录，默认不会自动加载到Hive的元数据中

手动建立分区

sh 复制代码

# 在HDFS上建立目录，上传文件
hadoop fs -mkdir /user/hive/warehouse/demo.db/heros/country=qun
hadoop fs -put qun /user/hive/warehouse/demo.db/heros/country=qun

在Hive中手动添加分区

sql 复制代码

alter table heros add partition(country = 'qun') location '/user/hive/warehouse/demo.db/heros/country=qun';
-- 或者 修复分区 - 有可能会修复失败，如果修复失败，那么此时只能手动add
msck repair table heros;

修改分区名

sql 复制代码

alter table heros partition(country = 'qun') rename to partition(country = 'other');

删除分区

sql 复制代码

alter table heros drop partition(country = '__HIVE_DEFAULT_PARTITION__');

需要注意的是，在Hive中，分区字段在原始数据中是不存在的，而是在加载数据的时候手动指定，所以分区实际上可以认为是数据的"伪列"。如果原始数据中包含了分区字段，那么此时就需要进行动态分区

动态分区

原始数据

sql 复制代码

1 other 吕布
2 wei 甘宁
3 shu 马岱
4 wei 王凌
5 shu 糜芳
6 shu 魏延
7 other 刘璋
8 wei 丁仪
9 wu 周平
10 shu 马忠

建立临时表

sql 复制代码

create table heros_tmp (
    hid int,
    h_country string,
    h_name string
) row format delimited fields terminated by ' ';

加载数据

sql 复制代码

load data local inpath '/opt/hive_data/heros' into table heros_tmp;
-- 测试
select * from heros_tmp tablesample(5 rows);

动态分区默认是不开启

sql 复制代码

-- 只对本次session有效，如果退出Hive重新进入，那么依然是严格模式
set hive.exec.dynamic.partition.mode = nonstrict;

将未分区表中的数据插入到分区表中 - 动态分区

sql 复制代码

insert into table heros partition(country) select hid, h_name, h_country from heros_tmp distribute by h_country;

【Hive】Hive简介概述、安装、基础语法、 表及数据操作（一）

Hive

简介

概述

版本

安装

安装MySQL

安装Hive

基础语法

注意问题

库操作

表及数据操作

表结构

内部表和外部表

分区表

【Hive】Hive简介概述、安装、基础语法、表及数据操作（一）