hive 不同维度聚合 grouping sets 使用详情

当结构数据表中,多列维度字段场景,
需要看不同维度聚合后的数据集时。

整体 demo sql

复制代码
select	
			if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A
			,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B
			,C
			,D
from table_name
where dt = '${dt}'
group by
			A
			,B
			,C
			,D	
GROUPING SETS(
			(A)		
			,(B)
			,(C)	
			,(D)	
			
			,(A,B)	
			,(A,C)
			,(A,D)
			,(B,C)	
			,(B,D)	
			,(C,D)	
			
			,(A,B,C)	
			,(A,B,D)	
			,(A,C,D)	
			,(B,C,D)	
			
			,(A,B,C,D)	

下面进行sql逐步拆解分析(建议三个模块结合着看,会更快理解该语法)

1.第一模块

复制代码
select	
			-- A 的二进制为 8 ,如果 GROUPING__ID & 8=0 则取A值,否值为 all 
			if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A
			
			-- & 运算符使用
			--	0	1	1	1	二进制数对应的十进制数为	7
			--	1	0	0	0	二进制数对应的十进制数为	8
			--	演示 7 & 8(1表示 真 、0表示 假;真真得真,真假得假,假假得假)
			--	0	1	1	1
			--	1	0	0	0
			-----------------
			--	0	0	0	0	该二进制对应的十进制为0
			-- 则 7 & 8 =0
			
			
			-- A 的二进制为 4 ,如果 GROUPING__ID & 4=0 则取B值,否值为 all 
			,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B
			,C
			,D

2.第二模块 (接着第一模块叙述)

复制代码
from table_name
where dt = '${dt}'
group by
			A
			,B
			,C
			,D
			
--	A	B	C	D	出现在 group by 后的位置
--	3	2	1	0	二进制排位(最先出现在group by 后的排二进制最高位)
--	8	4	2	1	二进制转化为十进制值

3.第三模块(接着第二模块叙述)

复制代码
GROUPING SETS(
			(A)		-- GROUPING__ID 值为 7
			,(B)	-- GROUPING__ID 值为 11
			,(C)	-- GROUPING__ID 值为 13
			,(D)	-- GROUPING__ID 值为 14
			
			,(A,B)	-- GROUPING__ID 值为 3
			,(A,C)	-- GROUPING__ID 值为 5
			,(A,D)	-- GROUPING__ID 值为 6
			,(B,C)	-- GROUPING__ID 值为 9
			,(B,D)	-- GROUPING__ID 值为 10
			,(C,D)	-- GROUPING__ID 值为 12
			
			,(A,B,C)	-- GROUPING__ID 值为 1
			,(A,B,D)	-- GROUPING__ID 值为 2
			,(A,C,D)	-- GROUPING__ID 值为 4
			,(B,C,D)	-- GROUPING__ID 值为 8
			
			,(A,B,C,D)	-- GROUPING__ID 值为 0 
)

附加测试语法

复制代码
-- 将二进制化转化为十进制
rpad(reverse(bin(cast(GROUPING__ID AS bigint))),16,'0') 
相关推荐
无级程序员5 小时前
大数据平台之ranger与ldap集成,同步用户和组
大数据·hadoop
梦想画家18 小时前
数据仓库:企业数据管理的核心枢纽
数据仓库
isNotNullX1 天前
数据中台架构解析:湖仓一体的实战设计
java·大数据·数据库·架构·spark
梦想画家2 天前
数据仓库中的代理键:概念、应用与实践指南
数据仓库·代理键·缓慢维度变化
王小王-1233 天前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
爱吃面的猫3 天前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
zhuiQiuMX3 天前
脉脉maimai面试死亡日记
数据仓库·sql·面试
暗影八度3 天前
Spark流水线数据质量检查组件
大数据·分布式·spark
Edingbrugh.南空4 天前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
涤生大数据4 天前
Apache Spark 4.0:将大数据分析提升到新的水平
数据分析·spark·apache·数据开发