hive 静态分区与动态分区(笔记)

目录

前言:

静态分区:

1.创建分区

2.删除分区

3.在分区中插入数据

4.查看分区表数据

[动态分区 :](#动态分区 :)

2.查看v表源数据

3.以emp_name为动态字段数据抽取到employee表

总结


前言:

Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录,每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区,这样的查询效率会提高很多,从而可以更快地查询数据。

分区可以是静态分区和动态分区

静态分区:

静态分区:是在表创建之后创建好的,可以手动指定分区键的值(直接给值)。静态分区通常用于数据量较为固定的场景,分区信息不会经常变更。在创建表时,可以使用partitioned by语句指定分区键,示例如下:

sql 复制代码
CREATE TABLE employee (
  emp_id INT,
  emp_name STRING,
  emp_date STRING,
  emp_salary FLOAT
)
PARTITIONED BY (emp_dept STRING);

创建及插入数据:

1.创建分区

alter table employee add partition(emp_dept='20230920');

alter table employee add partition(emp_dept='20230910');

alter table employee add partition(emp_dept='20230912');

alter table employee add partition(emp_dept='20230917');

2.删除分区

alter table employee drop partition (emp_dept='20230910');

alter table employee drop partition (emp_dept='20230920');

alter table employee drop partition (emp_dept='20230914');

3.在分区中插入数据

从其他表中数据插入并定义区间

insert into gh_test.employee partition(emp_dept='20230914') select * from v where emp_date='2023-09-14'

4.查看分区表数据

select * from gh_test.employee where emp_dept='20230914'


动态分区 :

动态分区:

指的是分区的字段值是基于查询结果自动推断出来的(分区没有直接给值),使用Insert Select语句进行插入。

动态分区通常用于数据量较大、分区信息需要随着数据导入而变化的场景。在插入数据时,

首先开启动态分区:

sql 复制代码
# 表示开启动态分区
set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nostrict;

2.查看v表源数据

3.以emp_name为动态字段数据抽取到employee表

sql 复制代码
insert overwrite table gh_test.employee
partition (emp_dept)        //先声明不定义值
select v1.*,v1.emp_name from v as v1  //v1.emp_name 为分区值(可以理解为以这个emp_name字段进行了分区)

4.查看分区结果

sql 复制代码
show partition gh_test.employee

总结

静态分区和动态分区各有其优缺点,需要根据实际情况进行选择。静态分区可以提高查询效率,但需要手动维护分区信息;动态分区可以自动维护分区信息,但对于大量数据导入可能会比较慢。

相关推荐
ihaveadream丶3 分钟前
Oracle中快速排查存储过程问题
笔记·oracle
F_D_Z6 小时前
人工智能基础概念
笔记
项目題供诗7 小时前
Hadoop(四)
大数据·hadoop·github
星梦清河10 小时前
宋红康 JVM 笔记 Day08|堆
jvm·笔记
岩中竹13 小时前
广东省省考备考(第八十九天8.28)——判断推理(听课后强化训练)
笔记
AllyLi022413 小时前
CondaError: Run ‘conda init‘ before ‘conda activate‘
linux·开发语言·笔记·python
HPC_fac1305206781616 小时前
英伟达发布高效小模型Jet-Nemotron:基于PostNAS与JetBlock架构,准确率与吞吐量双突破
人工智能·笔记·深度学习·架构·数据挖掘·语音识别·gpu算力
hansang_IR17 小时前
【算法速成课1 | 题解】洛谷P3366 【模板】最小生成树 MST(Prim & Kruskal)
c++·笔记·算法·题解·最小生成树·kruskal·prim
INS_KF17 小时前
【知识杂记】卡尔曼滤波及其变种,从理论精要到工程实践深入解析
经验分享·笔记·学习
哈基米喜欢哈哈哈1 天前
Kafka复制机制
笔记·分布式·后端·kafka