Hadoop:Hive操作(二):数据表操作,复杂数据类型,Sampling采样,虚拟列

数据表操作

上接:

Hadoop:YARN、MapReduce、Hive操作_独憩的博客-CSDN博客

分桶表

分桶表创建

分区的作用可以把数据分成n个文件夹单独存放,而分桶表则可以把一个表的数据放在一个文件夹下,但是分成n个文件存放

分区是将表拆分到不同的子文件夹中进行存储,而分桶是将表拆分到固定数量的不同文件中进行存储。

分桶和分区可以一起使用:

开启分桶的自动优化(自动匹配reduce task数量和桶数量一致)

sql 复制代码
set hive.enforce.bucketing=true;

创建分桶表

sql 复制代码
create table course (c_id string,c_name string,t_id string) 
clustered by(c_id) into 3 buckets row format delimited fields terminated by '\t';

这个地方在创建表的时候需要使用clustered by确定分桶的依据,然后使用into n buckets确定分成n个桶

数据的划分是根据 分桶依据值进行hash取模来决定的

分桶表数据加载

桶表的数据加载,由于桶表的数据加载通过load data无法执行,只能通过insert select,这是因为分桶的操作需要进行hash取模,也就是调用mapreduce,所有load data无法完成这个操作

1、创建一个临时表,向里面记载数据

sql 复制代码
create table temp_table(id int,name string) 
row format delimited fields terminated by '\t';

load data local inpath '/export/server/hive/date/test1.txt' into table temp_table ;

2、通过insert 向 分桶表传入数据

sql 复制代码
insert into fentong select * from temp_table cluster by (id)

修改表操作

修改表的属性

sql 复制代码
ALTER TABLE table_name SET TBLPROPERTIES table_properties;

如:ALTER TABLE table_name SET TBLPROPERTIES("EXTERNAL"="TRUE");  修改内外部表属性
如:ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comment); 修改表注释

其余属性可参见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-listTableProperties

添加分区

sql 复制代码
ALTER TABLE tablename  ADD PARTITION (month='201101');

修改分区值

修改元数据记录,HDFS实体的文件夹不会改名字,只是在元数据记录中改名了

也就是说查看数据,分区值改变了,但是文件夹没有变化

sql 复制代码
ALTER TABLE tablename PARTITION (month='202005') 
RENAME TO PARTITION (month='201105');

删除分区

也是只是在元数据记录中删除了,查看数据也发现这部分数据不见了

但是从文件的角度看,实体文件还在

sql 复制代码
ALTER TABLE tablename DROP PARTITION (month='201105');

其他的可以参照

MySQL基础(三)增删改查、数据类型、约束_独憩的博客-CSDN博客

数据类型array数组

在hive中也可以设置array类型的数据

首先准备一分数据文件:

sql 复制代码
1       changsha,shanghai,beijin,hangzhou
2       guangzhou,shenzhen,xiamen

然后创建一个表,这个表里面有一列定义为array,使用collection items terminated by ','方法定义以 , 为分隔符,定义方法为:

sql 复制代码
create table array_test (id int,locations array<string>)
row format delimited fields terminated by '\t'
collection items terminated by ','

然后把数据load就行了

这里数组的调用跟其他语音是一样的

sql 复制代码
select id,locations[0] from array_test

也可以在where中运用,比如要查询loactions里面有changsha的人,需要用到特点函数:

sql 复制代码
select id,locations
from array_test
where array_contains(locations,'changsha')

或者查询数组大小:

sql 复制代码
select id,size(locations) from array_test

数据类型map映射

准备数据:

sql 复制代码
1,zhangsan,father:xiaoming#mother:xiaohuang#brother:xiaoxu,28
2,lisi,father:mayun#mother:huangyi#brother:guanyu,22
3,wangwu,father:wangjianlin#mother:ruhua#sister:jingtian,29
4,mayun,father:mayongzhen#mother:angelababy,26

构建map列

sql 复制代码
create table map_test(id int,name string,
member map<string,string>,
age int)
row format delimited fields terminated by ','
collection items terminated by '#'
map keys terminated by ':'

collection items terminated by '#' 每个键值对的分隔符
map keys terminated by ':' 键与值的分隔符

键值对的调用也是跟其他语言差不多的

sql 复制代码
select name,member['father']
from  map_test

调取全部的key和value

sql 复制代码
select map_keys(member),map_values(member)
from  map_test

数据类型struct结构体

准备数据

sql 复制代码
1#周杰轮:11
2#林均杰:16
3#刘德滑:21
4#张学油:26
5#蔡依临:23

创建struct:

sql 复制代码
create table struct_test(
    id int,
    info struct<name:string,age:int>
)
row format delimited fields terminated by '#'
collection items terminated by ':'

可以使用info.name查询

sql 复制代码
select info.name from struct_test

Sampling采样

可以快速从大量数据中随机抽样一些数据显示,进行随机抽样,本质上就是用TABLESAMPLE函数

1、基于随机分桶抽样

sql 复制代码
SELECT ... FROM tbl TABLESAMPLE(BUCKET x OUT OF y ON(colname | rand()))

• y 表示将表数据随机划分成 y 份( y 个桶)
• x 表示从 y 里面随机抽取 x 份数据作为取样
• colname 表示随机的依据基于某个列的值
• rand() 表示随机的依据基于整行

2、基于数据块抽样

这个就是按照顺序取,不存在随机性

sql 复制代码
SELECT ... FROM tbl TABLESAMPLE(num ROWS | num PERCENT | num(K|M|G));

• num ROWS 表示抽样 num 条数据
• num PERCENT 表示抽样 num 百分百比例的数据
• num(K|M|G) 表示抽取 num 大小的数据,单位可以是 K 、 M 、 G 表示 KB 、 MB 、 GB

Virtual Columns虚拟列

虚拟列是Hive内置的可以在查询语句中使用的特殊标记,可以查询数据本身的详细参数。

Hive目前可用3个虚拟列:

• INPUT__FILE__NAME,显示数据行所在的具体文件
• BLOCK__OFFSET__INSIDE__FILE,显示数据行所在文件的偏移量
• ROW__OFFSET__INSIDE__BLOCK,显示数据所在 HDFS 块的偏移量
• 此 虚拟列 需要设置: SET hive.exec.rowoffset=true 才可使用

相关推荐
小林想被监督学习11 分钟前
RabbitMQ 的7种工作模式
分布式·rabbitmq
it噩梦15 分钟前
es 中 terms set 使用
大数据·elasticsearch
中科岩创25 分钟前
中科岩创边坡自动化监测解决方案
大数据·网络·物联网
初晴~2 小时前
【Redis分布式锁】高并发场景下秒杀业务的实现思路(集群模式)
java·数据库·redis·分布式·后端·spring·
DolphinScheduler社区2 小时前
作业帮基于 Apache DolphinScheduler 3_0_0 的缺陷修复与优化
大数据
SeaTunnel2 小时前
京东科技基于 Apache SeaTunnel 复杂场景适配 #数据集成
大数据
有一个好名字2 小时前
zookeeper分布式锁模拟12306买票
分布式·zookeeper·云原生
喝醉酒的小白3 小时前
Elasticsearch 配置文件
大数据·elasticsearch·搜索引擎
一只敲代码的猪3 小时前
Llama 3 模型系列解析(一)
大数据·python·llama
智慧化智能化数字化方案3 小时前
深入解读数据资产化实践指南(2024年)
大数据·人工智能·数据资产管理·数据资产入表·数据资产化实践指南