Hive分区和分桶

分区:

根据某一列进行进行划分存储,常用的有时间分区;

查询数据时只需要扫描特定的分区数据,不需要全盘扫描,节省时间,

方便数据归档和清理

创建分区表

create table table_name(

col1 int,

col2 string

)

partition by (dt string,country string);

插入分区

insert into table_name partition (dt='2024-06-19',country='china')

values(1,'data1'),(2,data2);

修改分区

alter table table_name partition ()

删除分区

alter table table_name drop partition(dt='2024-06-18');

分桶:

将表数据按照哈希函数的结果进行划分存储,将数据均匀分不到桶中,提高了查询的并行度和性能。

支持随机抽样

创建分桶

create table bucket_table_name(

col1 int,

col2 string

)

clustered by (col1) into 4 buckets

sorted by (col2);

插入数据

insert overwrite table bucket_table_name

select cols,col2

from table_name;

查询分桶数据

select *

from

bucket_table_name

where col1=1;

相关推荐
Irene199115 小时前
Windows 11 WSL Ubuntu 环境:实际安装 Hive 踩坑实录
hive·windows·ubuntu
Irene199116 小时前
(课堂笔记)Hive 分区、分桶与数据倾斜
hive·hadoop
Irene19912 天前
在 WSL Ubuntu 上安装和使用 Hive
linux·hive·ubuntu
Irene19912 天前
(课堂笔记)Hive 基础
hive·hadoop
云策数链3 天前
ERP报表系统设计与数据仓库
数据仓库·erp·用友·云策数链
水火既济__3 天前
加快hive效率
数据仓库·hive·hadoop
真上帝的左手4 天前
19. 大数据-数据仓库简介
大数据·数据仓库
lifewange5 天前
Hive 数据库 增删改 完整操作指南
数据库·hive·hadoop
WL_Aurora5 天前
Sqoop数据迁移工具从入门到精通
hive·hadoop·sqoop
zgdlsz6 天前
羲之文化传承人王杰宝:沉厚笔墨间的守正出新
大数据·数据库·数据仓库·涛思数据