HiveSQL之lateral view

lateral view是hiveQL中的一个高级功能,用于和表生成函数一起,来处理嵌套数组和结构的数据,特别是在处理复杂的数据结构如JSON或数组内嵌套数组时特别有用。它允许用户在每一行上应用TGF(表生成函数),将生成的元素作为多行返回,或者多列返回。

原理

常规情况下,SQL查询是对行进行操作的,每行数据都是独立的,如果想对一行中某列数据进行拆分成多行或者多列,SQL中的单独查询是不允许的。lateral view解决了这个问题,它允许将TGF结果,"侧视"到原始数行旁边,实际上是将TGF的输出与原始行的其他列结合起来形成新的行集。

表生成函数(table-generating functions)TGF

explode

将数组或者映射转换为多行,对于数组,每个元素成为一行;对于映射每个键值对成为一行。

复制代码
SELECT id, number
FROM example_table
LATERAL VIEW explode(numbers) tbl AS number;

json_tuple

解析JSON格式的字符串,每个key成为一行

相关推荐
Agatha方艺璇23 分钟前
Hive基础简介
数据仓库·hive·hadoop
像豆芽一样优秀1 天前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
howard20052 天前
VMWare上搭建Hive集群
hive·hadoop
程序猿 董班长3 天前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql
XueminXu4 天前
Hive使用Tez引擎出现OOM的解决方法
hive·oom·tez·datagrip·container·outofmemory
KANGBboy7 天前
hive udf 执行一次调用多次问题
数据仓库·hive·hadoop
来杯雀巢咖啡8 天前
ubantu安装配置hive
数据仓库·hive·hadoop
chad__chang9 天前
HIVE的Window functions窗口函数【二】
数据仓库·hive·hadoop
張萠飛9 天前
hive on tez为什么写表时,要写临时文件到hdfs目录
hive·hadoop·hdfs
白日与明月10 天前
Hive中的with子句
数据仓库·hive