hive 静态分区与动态分区(笔记)

目录

前言:

静态分区:

1.创建分区

2.删除分区

3.在分区中插入数据

4.查看分区表数据

[动态分区 :](#动态分区 :)

2.查看v表源数据

3.以emp_name为动态字段数据抽取到employee表

总结


前言:

Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录,每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区,这样的查询效率会提高很多,从而可以更快地查询数据。

分区可以是静态分区和动态分区

静态分区:

静态分区:是在表创建之后创建好的,可以手动指定分区键的值(直接给值)。静态分区通常用于数据量较为固定的场景,分区信息不会经常变更。在创建表时,可以使用partitioned by语句指定分区键,示例如下:

sql 复制代码
CREATE TABLE employee (
  emp_id INT,
  emp_name STRING,
  emp_date STRING,
  emp_salary FLOAT
)
PARTITIONED BY (emp_dept STRING);

创建及插入数据:

1.创建分区

alter table employee add partition(emp_dept='20230920');

alter table employee add partition(emp_dept='20230910');

alter table employee add partition(emp_dept='20230912');

alter table employee add partition(emp_dept='20230917');

2.删除分区

alter table employee drop partition (emp_dept='20230910');

alter table employee drop partition (emp_dept='20230920');

alter table employee drop partition (emp_dept='20230914');

3.在分区中插入数据

从其他表中数据插入并定义区间

insert into gh_test.employee partition(emp_dept='20230914') select * from v where emp_date='2023-09-14'

4.查看分区表数据

select * from gh_test.employee where emp_dept='20230914'


动态分区 :

动态分区:

指的是分区的字段值是基于查询结果自动推断出来的(分区没有直接给值),使用Insert Select语句进行插入。

动态分区通常用于数据量较大、分区信息需要随着数据导入而变化的场景。在插入数据时,

首先开启动态分区:

sql 复制代码
# 表示开启动态分区
set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nostrict;

2.查看v表源数据

3.以emp_name为动态字段数据抽取到employee表

sql 复制代码
insert overwrite table gh_test.employee
partition (emp_dept)        //先声明不定义值
select v1.*,v1.emp_name from v as v1  //v1.emp_name 为分区值(可以理解为以这个emp_name字段进行了分区)

4.查看分区结果

sql 复制代码
show partition gh_test.employee

总结

静态分区和动态分区各有其优缺点,需要根据实际情况进行选择。静态分区可以提高查询效率,但需要手动维护分区信息;动态分区可以自动维护分区信息,但对于大量数据导入可能会比较慢。

相关推荐
海棠蚀omo12 分钟前
C++笔记-位图和布隆过滤器
开发语言·c++·笔记
大胡子大叔19 分钟前
webrtc-streamer视频流播放(rstp协议h264笔记)
笔记·webrtc·rtsp·webrtc-streamer
山野万里__2 小时前
C++与Java内存共享技术:跨平台与跨语言实现指南
android·java·c++·笔记
寻丶幽风4 小时前
论文阅读笔记——VGGT: Visual Geometry Grounded Transformer
论文阅读·笔记·transformer·三维重建·3dgs·vggt
天水幼麟4 小时前
python学习笔记(深度学习)
笔记·python·学习
爱吃面的猫5 小时前
大数据Hadoop之——Hbase下载安装部署
大数据·hadoop·hbase
you45805 小时前
小程序学习笔记:使用 MobX 实现全局数据共享,实例创建、计算属性与 Actions 方法
笔记·学习·小程序
笑衬人心。5 小时前
初学Spring AI 笔记
人工智能·笔记·spring
UQI-LIUWJ6 小时前
计算机组成笔记:缓存替换算法
笔记·缓存
DKPT6 小时前
Java设计模式之结构型模式(外观模式)介绍与说明
java·开发语言·笔记·学习·设计模式