2023.11.16-hive sql高阶函数lateral view,与行转列,列转行

目录

[0.lateral view简介](#0.lateral view简介)

1.行转列

需求1:

需求2:

2.列转行

解题思路:


0.lateral view简介

hive函数 lateral view 主要功能是将原本汇总在一条(行)的数据拆分成多条(行)成虚拟表,再与原表进行笛卡尔积,从而得到明细表。配合UDTF函数使用,一般情况下经常与explode函数搭配,explode的操作对象(列值)是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。

炸裂函数配合侧视图使用如下

格式:select 原表别名.字段名,侧视图名.字段名 from 原表 原表别名 lateral view explode(要炸开的字段) 侧视图名 as 字段名 ;

1.行转列

-- 数据准备

--建表

sql 复制代码
create table row2col2(

                         col1 string,

                         col2 string,

                         col3 int

)row format delimited fields terminated by '\t';

--加载数据到表中

sql 复制代码
load data inpath '/input/r2c2.txt' into table row2col2;

-- 验证数据

sql 复制代码
select * from row2col2;

需求1:

需求1: 把原表数据变成以下格式

a b [1,2,3]

c d [4,5,6]

思路:使用collect_list()函数有序不去重

sql 复制代码
select
    col1,
    col2,
    collect_list(col3) -- 先将col3收集
from row2col2
group by
    col1, col2;

需求2:

需求2: 把原表数据变成以下格式

a b '1-2-3'

c d '4-5-6'

思路:1,2,3已经知道怎么收集了,可以用concat来将这几个数字与符号-拼接起来

concat_ws():函数在连接字符串的时候,只要有一个字符串不是NULL,就不会返回NULL。concat_ws():函数需要指定分隔符。

但concat_ws只支持拼接字符串,所以需要先用cast强转成字符串

  • cast(内容 as 类型)
  • concat_ws的格式: select concat_ws('要拼接的分隔符','字符串1','字符串2');
sql 复制代码
select col1,col2,
       concat_ws('-',(collect_list(cast(col3 as string))))
from row2col2
group by col1, col2
;

2.列转行

1.准备数据

sql 复制代码
--创建表
create table col2row2(
                         col1 string,
                         col2 string,
                         col3 string
)row format delimited fields terminated by '\t';

2.加载数据

sql 复制代码
--加载数据
load data  inpath '/source/c2r2.txt' into table col2row2;

3.验证数据

sql 复制代码
select * from col2row2;

解题思路:

sql 复制代码
-- 单列数据先切割再炸开
-- explode只能炸一个参数,只能接收数组或映射作为参数
select explode(col3)from col2row2; --报错
--无法直接炸col3字段,因为是字符串类型,并且题中的1,2,3并不是'一个'参数

select split(col3,',') from col2row2;
--用split切割后,会将切割完的数据放进数组里 [""1"",""2"",""3""][""4"",""5"",""6""]

select explode(split(col3,',')) from col2row2;
--得到了数组后,可以用explode来炸了

使用lateral view生成最终的表

格式:select 原表别名.字段名,侧视图名.字段名 from 原表 原表别名 lateral view explode(要炸开的字段) 侧视图名 as 字段名 ;

sql 复制代码
select col2row2.col1 , col2row2.col2 ,c2r.col3_explode
from col2row2
lateral view
explode(split(col3,',')) c2r as col3_explode  --用lv函数造出虚拟表c2r,col3_explode是字段名
;
相关推荐
智海观潮42 分钟前
Flink CDC支持Oracle RAC架构CDB+PDB模式的实时数据同步吗,可以上生产环境吗
大数据·oracle·flink·flink cdc·数据同步
企企通采购云平台1 小时前
「天元宠物」×企企通,加速数智化升级,“链”接萌宠消费新蓝海
大数据·人工智能·宠物
Apache Flink1 小时前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·flink
float_六七2 小时前
SQL六大核心类别全解析
数据库·sql·oracle
泰迪智能科技013 小时前
分享|大数据采集工程师职业技术报考指南
大数据
zskj_zhyl4 小时前
AI健康小屋“15分钟服务圈”:如何重构社区健康生态?
大数据·人工智能·物联网
AllData公司负责人4 小时前
实时开发IDE部署指南
大数据·ide·开源
电商数据girl4 小时前
有哪些常用的自动化工具可以帮助处理电商API接口返回的异常数据?【知识分享】
大数据·分布式·爬虫·python·系统架构
ZeroNews内网穿透5 小时前
服装零售企业跨区域运营难题破解方案
java·大数据·运维·服务器·数据库·tcp/ip·零售
百胜软件@百胜软件5 小时前
重庆兰瓶×百胜软件正式签约,全渠道中台赋能美业新零售
大数据·零售