HIVE技术

本文章基于黑马免费资料编写。

hive介绍

1. 简介
   
2. hive架构
   
   
   
   

hive需要启动的配置

1. 执行元数据库初始化命令 使用hive必须启动的服务

   ./schematool -initSchema -dbType mysql -verbos

2. 启动 Hive
   创建一个 hive 的日志文件夹

   mkdir /export/server/hive/logs

启动元数据管理服务

nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

启动客户端

• Hive Shell 方式（可以直接写 SQL ）： bin/hive

• Hive ThriftServer 方式（不可直接写 SQL ，需要外部客户端链接使用）：

  nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

• 用beeline连接：!connect jdbc:hive2://node1:10000 账号hadoop 密码无

数据库操作

1. 创建数据库

#创建数据库
create database if not exists 数据库名;
#使用数据库
use 数据库名;

2. 查看数据库详细信息

   desc database 数据库名;

数据库本质上就是在 HDFS 之上的文件夹。

默认数据库的存放路径是 HDFS 的： /user/hive/warehouse 内

3. 创建数据库并指定 hdfs 存储位置

#指定存储位置
create database 数据库名 location 'hdfs文件路径';
#例如
create database myhive2 location '/myhive2';

4. 删除数据库

#删除一个空数据库，如果数据库下面有数据表，那么就会报错
drop database myhive;
#强制删除数据库，包含数据库下面的表一起删除
drop database myhive2 cascade;

数据表操作

• 创建数据表语法
  

  • EXTERNAL ，创建外部表

  • PARTITIONED BY ， 分区表

  • CLUSTERED BY ，分桶表

  • STORED AS ，存储格式

  • LOCATION ，存储位置

• 数据类型
  红色为常见的数据类型
  

1. 创建数据表

CREATE TABLE test(
id INT,
name STRING,
gender STRING
);

2. 删除表

DROP TABLE table_name;

hive表类型

• 内部表
• 外部表
• 分区表
• 分桶表

1. 内部表

CREATE TABLE table_name ...... 
#例如
create table if not exists stu(id int,name string);

未被 external 关键字修饰的即是内部表， 即普通表。 内部表又称管理表 , 内部表数据存储的位置由

hive.metastore.warehouse.dir 参数决定（默认： /user/hive/warehouse ），删除内部表会直接删除元数据（ metadata ）及存储数据，因此内部表不适合和其他工具共享数据。

2. 外部表

CREATE EXTERNAL TABLE table_name ......LOCATION...... 
#例如
CREATE EXTERNAL TABLE stu(id int,name string) LOCATION '/myhive';

被 external 关键字修饰的即是外部表， 即关联表。

外部表是指表数据可以在任何位置，通过 LOCATION 关键字指定。 数据存储的不同也代表了这个表在理念是并不是Hive 内部管理的，而是可以随意临时链接到外部数据上的。所以，在删除外部表的时候， 仅仅是删除元数据（表的信息），不会删除数据本身。

内部表操作

• 创建一个内部表并插入数据，查看数据存储位置

create database if not exists myhive;
use myhive;
create table if not exists stu(id int,name string);
insert into stu values (1,"zhangsan"), (2, "wangwu");
select * from stu;

• 自行指定分隔符

create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t';
#解释
row format delimited fields terminated by '\t' ：表示以 \t 分隔

3. 其它创建内部表的形式

#除了标准的 CREATE TABLE table_name 的形式创建内部表外
#基于查询结果建表
CREATE TABLE table_name as 
#例如
create table stu3 as select * from stu2;

#基于已存在的表结构建表
CREATE TABLE table_name like
#例如
create table stu4 like stu2;

#也可以使用 DESC FORMATTED table_name ，查看表类型和详情
DESC FORMATTED stu2;

4. 删除内部表

DROP TABLE table_name
#例如
drop table stu2;

外部表操作

外部表，创建表被 EXTERNAL 关键字修饰，从概念是被认为并非 Hive 拥有的表，只是临时关联数据去使用。

创建外部表也很简单，基于外部表的特性，可以总结出： 外部表 和 数据 是相互独立的， 即：

• 可以先有表，然后把数据移动到表指定的 LOCATION 中

• 也可以先有数据，然后创建表通过 LOCATION 指向数据

• 先有表再有数据

#1. 在 Linux 上创建新文件， test_external.txt，用'\t'分割
vim test_external.txt
#2.先创建外部表，然后移动数据到 LOCATION 目录
#首先检查： 确认不存在 /tmp/test_ext1 目录
hadoop fs -ls /tmp 
#创建外部
create external table test_ext1(id int, name string) row format delimited fields
terminated by '\t' location '/tmp/test_ext1';
#空结果，无数据
select * from test_ext1
#上传数据:
hadoop fs -put test_external.txt /tmp/test_ext1/
#即可看到数据结果
select * from test_ext1 

• 先有数据再有表

#在hdfs中创建文件夹
hadoop fs -mkdir /tmp/test_ext2
#将linux中的txt数据文件上传到hdfs中
hadoop fs -put test_external.txt /tmp/test_ext2/
#创建指定位置的外部表
create external table test_ext2(id int, name string) row format delimited fields terminated by '\t' location '/tmp/test_ext2';
#查询数据
select * from test_ext2;

内外部表切换

desc formatted stu;

#内部表转外部表
alter table stu set tblproperties('EXTERNAL'='TRUE');
#外部表转内部表
alter table stu set tblproperties('EXTERNAL'='FALSE');

要注意： ('EXTERNAL'='FALSE') 或 ('EXTERNAL'='TRUE') 为固定写法，区分大小写！！！

数据加载 - LOAD 语法

#建表,comment为加注释
CREATE TABLE myhive.test_load(
dt string comment ' 时间（时分秒） ',
user_id string comment ' 用户 ID',
word string comment ' 搜索词 ',
url string comment ' 用户访问网址 '
) comment ' 搜索引擎日志表 ' ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t';

#加载数据,注意，基于 HDFS 进行 load 加载数据，源数据文件会消失（本质是被移动到表所在的目录中）
load data local inpath '/home/hadoop/search_log.txt' into table myhive.test_load;
load data inpath '/tmp/search_log.txt' overwrite into table myhive.test_load;

数据加载 - INSERT SELECT 语法

除了 load 加载外部数据外，我们也可以通过 SQL 语句，从其它表中加载数据。

INSERT [OVERWRITE | INTO] TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT
EXISTS]] select_statement1 FROM from_statement;
#将SELECT 查询语句的结果插入到其它表中，被 SELECT 查询的表可以是内部表或外部表。
INSERT INTO TABLE tbl1 SELECT * FROM tbl2;
INSERT OVERWRITE TABLE tbl1 SELECT * FROM tbl2;

数据加载 - 两种语法的选择

对于数据加载，我们学习了： LOAD 和 INSERT SELECT 的方式，那么如何选择它们使用呢？

• 数据在本地
  • 推荐 load data local 加载
• 数据在 HDFS
  • 如果不保留原始文件： 推荐使用 LOAD 方式直接加载
  • 如果保留原始文件： 推荐使用外部表先关联数据，然后通过 INSERT SELECT 外部表的形式加载数据
• 数据已经在表中
  • 只可以 INSERT SELECT

hive 表数据导出 - insert overwrite 方式

• 将 hive 表中的数据导出到其他任意目录，例如 linux 本地磁盘，例如 hdfs ，例如 mysql 等等

#语法
insert overwrite [local] directory 'path' select_statement1 FROM from_statement;
#将查询的结果导出到本地 - 使用默认列分隔符
insert overwrite local directory '/home/hadoop/export1' select * from test_load ;
#将查询的结果导出到本地 - 使用列分隔符
insert overwrite local directory '/home/hadoop/export2' row format delimited fields terminated by '\t'
select * from test_load;
#将查询的结果导出到HDFS上(不带local关键字)
insert overwrite directory '/tmp/export' row format delimited fields terminated by '\t' select * from test_load;

hive 表数据导出 - hive shell

#基本语法：（ hive -f/-e 执行语句或者脚本 > file ）
bin/hive -e "select * from myhive.test_load;" > /home/hadoop/export3/export4.txt
bin/hive -f export.sql > /home/hadoop/export4/export4.txt

注意：推荐将外部表加载到内部表管理

分区表

#基本语法 
create table tablename(...) partitioned by ( 分区列 列类型 , ......) row format delimited fields terminated by '';
#创建单分区表
create table score(s_id string,c_id string,s_score int) partitioned by ( month string) row format delimited fields terminated by '\t';
#创建多分区表
create table score(s_id string,c_id string,s_score int) partitioned by (year string,month string, day string) row format delimited fields terminated by '\t';
#加载数据到分区表中
load data local inpath '/export/server/hivedatas/score.txt' into table score partition(month='202501')
#加载数据到一个多分区表中
load data local inpath '/export/server/hivedatas/score.txt' into table score partition(year = '2025',month = '01',day='06')

• 分区表的使用

#查看分区
show partitions score;
#添加一个分区
alter table score add partition(month='202506')
#同时添加多个分区
alter table score add partition(month='202501') partition(month='202502')
#删除分区
alter table score drop partition(month = '202501')