Hive优化(1)——分桶采样

分桶(Bucketing)

分桶是将数据按照某个字段的哈希值进行分组存储的一种技术。它的原理是将数据按照指定字段的哈希值分成固定数量的桶,将每条记录分配到对应的桶中。分桶可以帮助优化特定类型的查询,例如连接查询和聚合操作,因为它可以将数据分布得更加均匀,减少数据倾斜,提高查询效率。

在Hive中创建分桶表时,需要使用CLUSTERED BY语句指定分桶字段,并且使用INTO语句指定桶的数量。例如:

CREATE TABLE bucketed_table ( column1 INT, column2 STRING, ... ) CLUSTERED BY (column1) INTO 4 BUCKETS;
use itcast;
create table tb_test(
id int,
name string
)
row format delimited fields terminated by ',';
insert into tb_test values
(1,'张三'),
(2,'李四'),
(3,'沙和尚'),
(4,'唐僧'),
(5,'孙悟空'),
(6,'猪八戒');

-- 分桶表
create table tb_test_buckets(
id int,
name string
)clustered by(id) into 6 buckets
row format delimited fields terminated by ',';
insert into tb_test_buckets values
(1,'张三'),
(2,'李四'),
(3,'沙和尚'),
(4,'唐僧'),
(5,'孙悟空'),
(6,'猪八戒');

采样(Sampling)

采样是从数据集中抽取部分样本数据进行分析和查询的一种技术。它可以帮助在大数据集上进行快速的试验和分析,而不需要处理整个数据集,从而节省时间和资源。在Hive中,可以使用TABLESAMPLE子句来进行采样查询。

SELECT * FROM table_name TABLESAMPLE(BUCKET x OUT OF y);

其中,x表示每个桶采样的概率,y表示桶的数量。这个语句会从数据表中按照指定的桶数和采样概率进行采样。

分桶采样

  1. 当表的数据量比较庞大的时候, 在编写SQL语句后, 需要首先测试 SQL是否可以正常的执行, 需要在表中执行查询操作, 由于表数据量比较庞大, 在测试一条SQL的时候整个运行的时间比较久, 为了提升测试效率, 可以整个表抽样出一部分的数据, 进行测试

  2. 校验数据的可行性(质量校验)

  3. 进行统计分析的时候, 并不需要统计出具体的指标, 可能统计的都是一些相对性指标, 比如说一些比率(合格率)问题, 此时可以通过采样处理。

tablesample ( bucket x out of y [on column|rand()])

Hive中的分桶和采样是优化查询性能的两种重要技术,它们可以帮助提高查询效率、减少资源消耗和加速数据处理。

分桶表:

取值数量 = 分桶数/y值

x值决定从哪个分桶文件开始取值

未分桶表:

1-按字段分桶 hash(字段)%y值=余数 相同余数放在一起

2-按照x值找余数对应的值 x=1 就找第一个余数 0 x=2 找第二个余数 1 x=3 找第三个余数 2


分桶采样的优化

分桶采样是将分桶和采样两种技术结合起来,可以在处理大数据集时更加高效地执行查询。通过在每个桶中进行采样,可以保证采样的数据分布更加均匀,避免了数据倾斜的问题。这样可以在保持查询效率的同时,减少了对资源的需求。

在Hive中,可以结合CLUSTERED BYTABLESAMPLE来进行分桶采样。例如:

SELECT * FROM bucketed_table TABLESAMPLE(BUCKET x OUT OF y);

这样可以在分桶的基础上对每个桶进行采样,从而达到更好的查询性能和资源利用。

相关推荐
zkmall11 分钟前
企业电商解决方案哪家好?ZKmall模块商城全渠道支持 + 定制化服务更省心
大数据·运维·重构·架构·开源
随缘而动,随遇而安4 小时前
第八十八篇 大数据中的递归算法:从俄罗斯套娃到分布式计算的奇妙之旅
大数据·数据结构·算法
晋阳十二夜5 小时前
【压力测试之_Jmeter链接Oracle数据库链接】
数据库·oracle·压力测试
GISer_Jing5 小时前
Git协作开发:feature分支、拉取最新并合并
大数据·git·elasticsearch
GDAL6 小时前
Node.js v22.5+ 官方 SQLite 模块全解析:从入门到实战
数据库·sqlite·node.js
IT_10246 小时前
Spring Boot项目开发实战销售管理系统——系统设计!
大数据·spring boot·后端
DCTANT7 小时前
【原创】国产化适配-全量迁移MySQL数据到OpenGauss数据库
java·数据库·spring boot·mysql·opengauss
一只鹿鹿鹿8 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
聚铭网络9 小时前
案例精选 | 某省级税务局AI大数据日志审计中台应用实践
大数据·人工智能·web安全
AI、少年郎9 小时前
Oracle 进阶语法实战:从多维分析到数据清洗的深度应用(第四课)
数据库·oracle