hive 静态分区与动态分区(笔记)

目录

前言:

静态分区:

1.创建分区

2.删除分区

3.在分区中插入数据

4.查看分区表数据

[动态分区 :](#动态分区 :)

2.查看v表源数据

3.以emp_name为动态字段数据抽取到employee表

总结


前言:

Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录,每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区,这样的查询效率会提高很多,从而可以更快地查询数据。

分区可以是静态分区和动态分区

静态分区:

静态分区:是在表创建之后创建好的,可以手动指定分区键的值(直接给值)。静态分区通常用于数据量较为固定的场景,分区信息不会经常变更。在创建表时,可以使用partitioned by语句指定分区键,示例如下:

sql 复制代码
CREATE TABLE employee (
  emp_id INT,
  emp_name STRING,
  emp_date STRING,
  emp_salary FLOAT
)
PARTITIONED BY (emp_dept STRING);

创建及插入数据:

1.创建分区

alter table employee add partition(emp_dept='20230920');

alter table employee add partition(emp_dept='20230910');

alter table employee add partition(emp_dept='20230912');

alter table employee add partition(emp_dept='20230917');

2.删除分区

alter table employee drop partition (emp_dept='20230910');

alter table employee drop partition (emp_dept='20230920');

alter table employee drop partition (emp_dept='20230914');

3.在分区中插入数据

从其他表中数据插入并定义区间

insert into gh_test.employee partition(emp_dept='20230914') select * from v where emp_date='2023-09-14'

4.查看分区表数据

select * from gh_test.employee where emp_dept='20230914'


动态分区 :

动态分区:

指的是分区的字段值是基于查询结果自动推断出来的(分区没有直接给值),使用Insert Select语句进行插入。

动态分区通常用于数据量较大、分区信息需要随着数据导入而变化的场景。在插入数据时,

首先开启动态分区:

sql 复制代码
# 表示开启动态分区
set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nostrict;

2.查看v表源数据

3.以emp_name为动态字段数据抽取到employee表

sql 复制代码
insert overwrite table gh_test.employee
partition (emp_dept)        //先声明不定义值
select v1.*,v1.emp_name from v as v1  //v1.emp_name 为分区值(可以理解为以这个emp_name字段进行了分区)

4.查看分区结果

sql 复制代码
show partition gh_test.employee

总结

静态分区和动态分区各有其优缺点,需要根据实际情况进行选择。静态分区可以提高查询效率,但需要手动维护分区信息;动态分区可以自动维护分区信息,但对于大量数据导入可能会比较慢。

相关推荐
lix的小鱼8 分钟前
spark和Hadoop之间的对比和联系
大数据·hadoop·spark
帅云毅35 分钟前
Web3.0的认知补充(去中心化)
笔记·学习·web3·去中心化·区块链
豆豆35 分钟前
day32 学习笔记
图像处理·笔记·opencv·学习·计算机视觉
nenchoumi31191 小时前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
凉、介1 小时前
PCI 总线学习笔记(五)
android·linux·笔记·学习·pcie·pci
鬼面瓷2 小时前
CAPL编程_03
前端·数据库·笔记
帅云毅2 小时前
Web漏洞--XSS之订单系统和Shell箱子
前端·笔记·web安全·php·xss
TTBIGDATA3 小时前
如何将 Apache Hudi 接入 Ambari?完整部署与验证指南
大数据·hadoop·ambari·hudi·bigtop·湖仓·自定义组件集成
丰锋ff3 小时前
考研英一学习笔记
笔记·学习·考研
Invinciblenuonuo4 小时前
FreeRTOS学习笔记【10】-----任务上下文切换
笔记·学习