hive 不同维度聚合 grouping sets 使用详情

当结构数据表中,多列维度字段场景,
需要看不同维度聚合后的数据集时。

整体 demo sql

复制代码
select	
			if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A
			,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B
			,C
			,D
from table_name
where dt = '${dt}'
group by
			A
			,B
			,C
			,D	
GROUPING SETS(
			(A)		
			,(B)
			,(C)	
			,(D)	
			
			,(A,B)	
			,(A,C)
			,(A,D)
			,(B,C)	
			,(B,D)	
			,(C,D)	
			
			,(A,B,C)	
			,(A,B,D)	
			,(A,C,D)	
			,(B,C,D)	
			
			,(A,B,C,D)	

下面进行sql逐步拆解分析(建议三个模块结合着看,会更快理解该语法)

1.第一模块

复制代码
select	
			-- A 的二进制为 8 ,如果 GROUPING__ID & 8=0 则取A值,否值为 all 
			if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A
			
			-- & 运算符使用
			--	0	1	1	1	二进制数对应的十进制数为	7
			--	1	0	0	0	二进制数对应的十进制数为	8
			--	演示 7 & 8(1表示 真 、0表示 假;真真得真,真假得假,假假得假)
			--	0	1	1	1
			--	1	0	0	0
			-----------------
			--	0	0	0	0	该二进制对应的十进制为0
			-- 则 7 & 8 =0
			
			
			-- A 的二进制为 4 ,如果 GROUPING__ID & 4=0 则取B值,否值为 all 
			,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B
			,C
			,D

2.第二模块 (接着第一模块叙述)

复制代码
from table_name
where dt = '${dt}'
group by
			A
			,B
			,C
			,D
			
--	A	B	C	D	出现在 group by 后的位置
--	3	2	1	0	二进制排位(最先出现在group by 后的排二进制最高位)
--	8	4	2	1	二进制转化为十进制值

3.第三模块(接着第二模块叙述)

复制代码
GROUPING SETS(
			(A)		-- GROUPING__ID 值为 7
			,(B)	-- GROUPING__ID 值为 11
			,(C)	-- GROUPING__ID 值为 13
			,(D)	-- GROUPING__ID 值为 14
			
			,(A,B)	-- GROUPING__ID 值为 3
			,(A,C)	-- GROUPING__ID 值为 5
			,(A,D)	-- GROUPING__ID 值为 6
			,(B,C)	-- GROUPING__ID 值为 9
			,(B,D)	-- GROUPING__ID 值为 10
			,(C,D)	-- GROUPING__ID 值为 12
			
			,(A,B,C)	-- GROUPING__ID 值为 1
			,(A,B,D)	-- GROUPING__ID 值为 2
			,(A,C,D)	-- GROUPING__ID 值为 4
			,(B,C,D)	-- GROUPING__ID 值为 8
			
			,(A,B,C,D)	-- GROUPING__ID 值为 0 
)

附加测试语法

复制代码
-- 将二进制化转化为十进制
rpad(reverse(bin(cast(GROUPING__ID AS bigint))),16,'0') 
相关推荐
什么芮.9 分钟前
spark-streaming
pytorch·sql·spark·kafka·scala
桑榆08061 小时前
Kafka简介
spark·kafka
IT成长日记2 小时前
【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
hive·hadoop·hdfs·数据导出
向上的车轮3 小时前
数据湖DataLake和传统数据仓库Datawarehouse的主要区别是什么?优缺点是什么?
数据仓库
IT成长日记3 小时前
【Hive入门】Hive概述:大数据时代的数据仓库桥梁
大数据·数据仓库·hive·sql优化·分布式计算
躺不平的理查德4 小时前
General Spark Operations(Spark 基础操作)
大数据·分布式·spark
talle20214 小时前
Zeppelin在spark环境导出dataframe
大数据·分布式·spark
大数据魔法师4 小时前
Hadoop生态圈框架部署 - Windows上部署Hadoop
大数据·hadoop·windows
渣渣盟4 小时前
大数据开发环境的安装,配置(Hadoop)
大数据·hadoop·分布式
weixin_3077791311 小时前
分层设计数据仓库的架构和设计高效数据库系统的方法
数据仓库·架构