3Hive数据抽样

3Hive数据抽样

  • [1 随机抽样](#1 随机抽样)
  • [2 块抽样](#2 块抽样)
  • [3 桶表抽样](#3 桶表抽样)

当数据规模不断膨胀时,我们需要找到一个数据的子集来加快数据分析效率。因此我们就需要通过筛选和分析数据集为了进行模式 & 趋势识别。目前来说有三种方式来进行抽样:随机抽样,桶表抽样,和块抽样。

1 随机抽样

关键词:rand()函数。

使用rand()函数进行随机抽样,limit关键字限制抽样返回的数据,其中rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的。

案例如下:

javascript 复制代码
select * from table_name 
where col=xxx 
distribute by rand() sort by rand() 
limit num; 

使用order 关键词:

案例如下:

javascript 复制代码
select * from table_name 
where col=xxx 
order by rand() 
limit num; 

经测试对比,千万级数据中进行随机抽样 order by方式耗时更长,大约多30秒左右。

2 块抽样

关键词:tablesample()函数。

1.tablesample(n percent) 根据hive表数据的大小按比例抽取数据,并保存到新的hive表中。如:抽取原hive表中10%的数据

注意:测试过程中发现,select语句不能带where条件且不支持子查询,可通过新建中间表或使用随机抽样解决。

javascript 复制代码
select * from xxx tablesample(10 percent) 数字与percent之间要有空格

2.tablesample(nM) 指定抽样数据的大小,单位为M。

javascript 复制代码
select * from xxx tablesample(20M) 数字与M之间不要有空格

3.tablesample(n rows) 指定抽样数据的行数,其中n代表每个map任务均取n行数据,map数量可通过hive表的简单查询语句确认(关键词:number of mappers: x)

javascript 复制代码
select * from xxx tablesample(100 rows) 数字与rows之间要有空格

3 桶表抽样

关键词:tablesample (bucket x out of y [on colname])。

其中x是要抽样的桶编号,桶编号从1开始,colname表示抽样的列,y表示桶的数量。

hive中分桶其实就是根据某一个字段Hash取模,放入指定数据的桶中,比如将表table_1按照ID分成100个桶,其算法是hash(id) % 100,这样,hash(id) % 100 = 0的数据被放到第一个桶中,hash(id) % 100 = 1的记录被放到第二个桶中。创建分桶表的关键语句为:CLUSTER BY语句。

例如:将表随机分成10组,抽取其中的第一个桶的数据:

javascript 复制代码
select * from table_01 
tablesample(bucket 1 out of 10 on rand())
相关推荐
好记性+烂笔头40 分钟前
4Hive计算引擎
hive
好记性+烂笔头1 小时前
hive知识体系
数据仓库·hive·hadoop
好记性+烂笔头12 小时前
2Hive表类型
hive
昊昊该干饭了16 小时前
数仓建模(五)选择数仓技术栈:Hive & ClickHouse & 其它
hive·hadoop·clickhouse
万事可爱^1 天前
【SQL】进阶知识 -- 删除表的几种方法(包含表内单个字段的删除方法)
数据库·hive·sql·oracle
郭源潮3452 天前
HIVE技术
数据仓库·hive·hadoop
好记性+烂笔头2 天前
6Hive Sql 大全
hive·sql
我要用代码向我喜欢的女孩表白2 天前
Hive迁移,小表(10G以下的),分区快速修复批量脚本
数据仓库·hive·hadoop
我要用代码向我喜欢的女孩表白2 天前
大数据组件常用端口(hdfs端口、hive端口、yarn端口)
大数据·hive·hdfs