Spark SQL 桶抽样(Bucket Sampling)

目录

前言:

在Spark SQL中,桶抽样(Bucket Sampling)是一种基于哈希分桶的抽样方法,它可以将数据划分为若干个桶(bucket),然后抽取其中一个或多个桶的数据作为样本。桶抽样有两种主要形式:

基于分桶列(Bucketed Column)的抽样:这种抽样要求表本身是分桶表(Bucketed Table),并且抽样是基于分桶时指定的列进行的。

基于任意列的随机抽样:使用TABLESAMPLE语法,可以基于随机函数(如rand())或指定列进行分桶抽样,即使表不是分桶表也可以使用。

这里我们主要讨论第二种,即使用TABLESAMPLE (BUCKET x OUT OF y ON expr)语法,其中expr可以是列名,也可以是随机函数(如rand())。

语法:

sql 复制代码
SELECT ...
FROM table_name
TABLESAMPLE (BUCKET x OUT OF y [ON colname | rand()])

解释:

x:抽取的桶编号,从1开始。

y:总桶数。

ON后面的表达式:可以是某个列名,也可以是一个随机函数(如rand())。如果是列名,那么会根据该列的哈希值进行分桶抽样;如果是rand(),则使用随机分桶(每次运行不同,除非指定种子),如果使用rand(seed)则可以重复抽样。

注意:

桶抽样是精确抽样,它将数据分成y个桶,然后抽取第x个桶。

当使用列名进行分桶抽样时,具有相同列值的行会进入同一个桶,这样可以保证具有相同关键字的行被一起抽样或不被抽样。

当使用rand()时,则是随机将行分配到各个桶中,每次运行会因为随机性而不同。

示例:

示例1:基于某个列(如user_id)进行桶抽样,保证相同user_id的行在同一个桶中:

sql 复制代码
sql
SELECT * 
FROM sales 
TABLESAMPLE (BUCKET 1 OUT OF 10 ON user_id);

这将数据分成10个桶,然后抽取第1个桶的数据。同一个user_id的所有行都会被分到同一个桶中,因此要么全部被抽中,要么全部不被抽中。

示例2:基于随机函数进行桶抽样(每次运行结果随机):

sql 复制代码
sql
SELECT * 
FROM sales 
TABLESAMPLE (BUCKET 1 OUT OF 10 ON rand());

同样分成10个桶,抽取第1个桶,但是行是随机分配的。

示例3:可重复的随机抽样(通过指定随机种子):

sql 复制代码
sql
SELECT * 
FROM sales 
TABLESAMPLE (BUCKET 1 OUT OF 10 ON rand(42));

这样,每次运行都会得到相同的抽样结果。

示例4:抽取多个桶:例如,抽取前3个桶(即30%的数据):

使用WHERE子句配合取模运算(前提是抽样表达式相同):

sql 复制代码
sql
SELECT *
FROM (
    SELECT *, abs(hash(rand(42))) % y AS bucket_id
    FROM sales
) tmp
WHERE bucket_id IN (0, 1, 2);   -- 注意:桶的编号在0到y-1之间?

但是要注意,TABLESAMPLE的分桶编号是从1开始,而自己计算哈希取模通常是0到y-1。所以需要调整。

相关推荐
starzy19904 小时前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
Pniubi15 小时前
怎么排查慢SQL,怎么解决?
java·数据库·sql
Decay__19 小时前
VMware 安装 SQL Server 双节点 AlwaysOn 可用性组教程 —— WSFC、AG 与侦听器完整部署(系列核心篇)
运维·数据库·sql·mysql·架构
茶栀(*´I`*)20 小时前
SQL 性能分析:从慢查询日志到执行计划的完整定位方法
数据库·sql
乌暮1 天前
Spring AOP 与 Spring 事务:用大白话彻底理解原理与实践
java·数据库·spring boot·后端·sql·学习·spring
AllData公司负责人2 天前
AI大模型数据开发底座系列说明书,AllData集成Chat2DB开源项目建设AI 数据库分析底座,涵盖AI 洞察/对话SQL/智能视图!
数据库·人工智能·sql·开源·ai 洞察·对话sql
Decay__2 天前
SQLServer 索引与 SQL 优化 —— 聚集索引、非聚集索引、覆盖索引、碎片维护与执行计划
运维·数据库·sql·mysql·架构
Lansonli2 天前
大数据Spark(八十八):Spark任务资源之Standalone集群测试
java·服务器·spark
星恒随风3 天前
MySQL 从零入门(五):MySQL 内置函数详解——日期、字符串、数学函数与实战案例
linux·数据库·笔记·sql·mysql
2603_969694853 天前
【JavaWeb学习记录】MyBatis核心知识点与实战笔记:从入门到动态SQL
笔记·sql·学习·mysql·mybatis·javaweb·学习方法