Hive字符串数组json类型取某字段再列转行

一、原始数据

|---------|------------------------------------------------------------------------------------------------------------------------------------------|
| acct | content |
| 1232313 | {"name":"张三","code":"上海浦东新区89492jfkdaj\\r\\n福建的卡"...},{"name":"狂徒","code":"select \* from table where aa=1\\r\\n and a=12"...},{...} |
| ... | ... |

二、需求

上述数据表名code_content,把json中code内容全都取出来拼接成一行数据,最终效果:

|---------|----------------------------------------------------------------------------------|
| acct | new_content |
| 1232313 | 上海浦东新区89492jfkdaj\r\n福建的卡\u0001select * from table where aa=1\r\n and a=12 |
| ... | ... |

三、解析思路

四、实现方法

1.sql

sql 复制代码
select acct,concat_ws('\u0001',collect_list(t.code)) code
from 
(
select acct,get_json_object(a_json,'$.code') code
from
(
select acct,
split(regexp_replace(regexp_extract(code,'(^\\[)(.*?)(\\]$)',2),'\\},\\{','\\}|\\{'),'\\|') as t_code
from code_content
where dt=20230823
) a
lateral view explode(t_code) code_content_tab as a_json
) t
group by acct

2.sql解释:

  • regexp_extract(code,'(^\\)(.\*?)(\\\\$)',2):用正则取出数组里的json
  • regexp_replace:替换},{为}|{,方便切割因为,号一般语句里会比较多
  • split:切割成数组
  • explode:函数中的参数传入的是arrary数据类型的列名,通常,explode函数会与lateral view一起结合使用
  • lateral view:Lateral View配合 split, explode 等UDTF函数一起使用,它能够将一列数据拆成多行数据,并且对拆分后结果进行聚合,即将多行结果组合成一个支持别名的虚拟表。
  • get_json_object(a_json,'$.code'):获取json字段value
  • concat_ws('\u0001',collect_list(t.code)):"列转行"

参考:

Hive SQL中的 lateral view 与 explode(列转行)以及行转列_sql explode_卖山楂啦prss的博客-CSDN博客

hivesql解析json数组并拆分成多行_hive sql怎么对一个数组进行分行_Time Woods的博客-CSDN博客

相关推荐
starzy199012 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
AI源码2 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
DataY轻量数据平台3 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
演艺大赏3 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
宽海智能仓储物流3 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
starzy19903 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏5 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏5 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
吾AI科技7 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
上海潭龙东海科技有限公司7 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划