Hive分区和分桶

分区:

根据某一列进行进行划分存储,常用的有时间分区;

查询数据时只需要扫描特定的分区数据,不需要全盘扫描,节省时间,

方便数据归档和清理

创建分区表

create table table_name(

col1 int,

col2 string

)

partition by (dt string,country string);

插入分区

insert into table_name partition (dt='2024-06-19',country='china')

values(1,'data1'),(2,data2);

修改分区

alter table table_name partition ()

删除分区

alter table table_name drop partition(dt='2024-06-18');

分桶:

将表数据按照哈希函数的结果进行划分存储,将数据均匀分不到桶中,提高了查询的并行度和性能。

支持随机抽样

创建分桶

create table bucket_table_name(

col1 int,

col2 string

)

clustered by (col1) into 4 buckets

sorted by (col2);

插入数据

insert overwrite table bucket_table_name

select cols,col2

from table_name;

查询分桶数据

select *

from

bucket_table_name

where col1=1;

相关推荐
匆匆整棹还1 小时前
数据仓库与数据挖掘记录 一
数据仓库·人工智能·数据挖掘
降世神童1 小时前
大数据系列 | 白话讲解大数据技术生态中Hadoop、Hive、Spark的关系介绍
大数据·hive·hadoop
心灵Haven1 天前
Hive之最新方式MySQL5.7 安装
数据仓库·hive·hadoop
korry241 天前
hive数仓的分层与建模
数据仓库·hive·hadoop
DouMiaoO_Oo1 天前
数据总线/一致性维度/总线矩阵
数据仓库
专注API从业者2 天前
反向海淘独立站未来发展趋势:机遇与挑战并存,如何抢占先机?
大数据·开发语言·前端·数据仓库
心灵Haven2 天前
Hive之[Hive]详细安装步骤
数据仓库·hive·hadoop
lj9077226442 天前
nexus部署及配置https访问
数据仓库·网络协议·http·docker·https
大数据魔法师2 天前
HiveQL命令(三)- Hive函数
数据仓库·hive·hadoop
小杜谈数2 天前
HIVE如何注册UDF函数
数据仓库·hive·hadoop