Hive3:三种常用的复杂数据类型

一、Array类型

1、数据示例

2、实操

元数据

复制代码
zhangsan	beijing,shanghai,tianjin,hangzhou
wangwu	changchun,chengdu,wuhan,beijin

创建表

sql 复制代码
CREATE TABLE myhive.test_array(name string, work_locations array<string>)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ',';

COLLECTION ITEMS TERMINATED BY ',' 表示集合(array)元素的分隔符是逗号

加载数据

sql 复制代码
load data local inpath '/home/atguigu/data_for_array_type.txt' overwrite into table myhive.test_array;

常用查询语句

sql 复制代码
-- 查询loction数组中第一个元素
select name, work_locations[0] location from myhive.test_array;
-- 查询location数组中元素的个数
select name, size(work_locations) location from myhive.test_array;
-- 查询location数组中包含tianjin的信息
select * from myhive.test_array where array_contains(work_locations,'tianjin');

二、Map类型

1、数据示例

2、实操

元数据

复制代码
1,林杰均,father:林大明#mother:小甜甜#brother:小甜,28
2,周杰伦,father:马小云#mother:黄大奕#brother:小天,22
3,王葱,father:王林#mother:如花#sister:潇潇,29
4,马大云,father:周街轮#mother:美美,26

创建表

sql 复制代码
CREATE TABLE myhive.test_map(id int, name string, members map<string,string>, age int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '#' 
MAP KEYS TERMINATED BY ':';

不同键值对之间:COLLECTION ITEMS TERMINATED BY '分隔符' 分隔

一个键值对内,使用: MAP KEYS TERMINATED BY '分隔符' 分隔K-V

加载数据

sql 复制代码
load data local inpath '/home/atguigu/data_for_map_type.txt' overwrite into table myhive.test_map;

常用查询语句

sql 复制代码
-- 查询father、mother这两个map的key
select id, name, members['father'] father, members['mother'] mother, age from myhive.test_map;
-- 查询全部map的key,使用map_keys函数,结果是array类型
select id, name, map_keys(members) as relation from myhive.test_map;
-- 查询全部map的value,使用map_values函数,结果是array类型
select id, name, map_values(members) as relation from myhive.test_map;
-- 查询map类型的KV对数量
select id,name,size(members) num from myhive.test_map;
-- 查询map的key中有brother的数据
select * from myhive.test_map where array_contains(map_keys(members), 'brother');

三、Struct类型

1、数据示例

2、实操

元数据

复制代码
1#周杰轮:11
2#林均杰:16
3#刘德滑:21
4#张学油:26
5#蔡依临:23

创建表

sql 复制代码
CREATE TABLE myhive.test_struct(id string, info struct<name:string, age:int>)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '#'
COLLECTION ITEMS TERMINATED BY ':';

加载数据

sql 复制代码
load data local inpath '/home/atguigu/data_for_struct_type.txt' overwrite into table myhive.test_struct;


常用查询语句

sql 复制代码
# 直接使用列名.子列名 即可从struct中取出子列查询
select id, info.name from test_struct;

对比

相关推荐
RestCloud11 小时前
SQL Server到Hive:批处理ETL性能提升30%的实战经验
数据库·api
RestCloud11 小时前
为什么说零代码 ETL 是未来趋势?
数据库·api
ClouGence13 小时前
CloudCanal + Paimon + SelectDB 从 0 到 1 构建实时湖仓
数据库
Lx35215 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
DemonAvenger20 小时前
NoSQL与MySQL混合架构设计:从入门到实战的最佳实践
数据库·mysql·性能优化
AAA修煤气灶刘哥1 天前
后端人速藏!数据库PD建模避坑指南
数据库·后端·mysql
RestCloud1 天前
揭秘 CDC 技术:让数据库同步快人一步
数据库·api
得物技术2 天前
MySQL单表为何别超2000万行?揭秘B+树与16KB页的生死博弈|得物技术
数据库·后端·mysql
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
可涵不会debug2 天前
【IoTDB】时序数据库选型指南:工业大数据场景下的技术突围
数据库·时序数据库