SQL,从每组中的 json 字段中提取唯一值

postgreySQL 库表的第 1 列是 ID,用于排序;第 2 列是分类;第 3 列类似 json(非标准 json), 并存在重复项。

|----|----------------|---------------------------------------------------------------------|
| id | component_type | component_names |
| 1 | INGESTION | {ingestiona,atul, ingestiona, ingestionb} |
| 2 | INGESTION | {test_s3_prerit, atul} |
| 3 | DQM | {testmigration} |
| 4 | SCRIPT | {scripta,scripta,scripta,testimportscript,testimportscript,b,c,c,x} |
| 5 | SCRIPT | {testimportscript, scripta,scripta,a,a,b,b,c} |
| 6 | SCRIPT | {Script_Python,scripta,x} |
| 7 | BUSINESS_RULES | {s3_testH_Graph} |
| 8 | EXPORT | {Export2} |

要求:用 Java 提取每组的唯一值,并使其位于原记录的原位置;或者说,按照原分组每条记录的顺序,自上而下依次删掉重复的项,唯一值保持原位。

|----------------|----------------------------------|
| component_type | component_names |
| INGESTION | {ingestiona,atul,ingestionb} |
| INGESTION | {test_s3_prerit} |
| DQM | {testmigration} |
| SCRIPT | {scripta,testimportscript,b,c,x} |
| SCRIPT | {a} |
| SCRIPT | {Script_Python} |
| BUSINESS_RULES | {s3_testH_Graph} |
| EXPORT | {Export2} |

编写SPL代码

|---|--------------------------------------------------------------------------------|
| | A  |
| 1 | =post1.query("select component_type,component_names from tb order by id") |
| 2 | =A1.run(#2=mid(#2,2,len(#2)-2).split@tc() ) |
| 3 | =A2.group@u(#1).(~.run( #2=(#2-1|#2).id@u() ).rvs().run(#2=#2\#21)) |
| 4 | return A1.run(#2="{"+#2.concat@c()+"}") |

A1:通过JDBC查询数据库。

A2:将每条记录的第 2 个字段拆分为多项。

A3:按第 1 列分组并保持原序,然后处理每组数据:按记录顺序累积各项,并去除重复;颠倒记录顺序;用本记录的累积结果和下条记录的累积结果求差集。

A4:恢复原字符串格式,并返回结果。

Java 集成 SPL 可参考 Java 如何调用 SPL 脚本

SPL开源地址

相关推荐
技术小甜甜15 分钟前
【Cursor】Skill 被标黄色警告,怎么改成合格的 SKILL.md
开发语言·javascript·ai编程·cursor·1024程序员节·ai agent·skills
要开心吖ZSH29 分钟前
一次线上锁风暴复盘:号源表大范围 DELETE 的隐患与分批删除改造
数据库·mysql·行锁·1024程序员节·间隙锁·lockwaittimeout
小小龙学IT1 小时前
Python Polars 高性能数据处理引擎深度解析
开发语言·python·rust·1024程序员节
quantdash_cc1 小时前
如何利用标的信息为研究股票池补充名称和交易所信息?
开发语言·python·pandas·量化交易·1024程序员节·股票数据·quantdash
莫叫石榴姐1 小时前
半导体业务数仓建模: Lot、Wafer、Die、Recipe、OEE、YMS 建模要点
数据仓库·sql·面试·职场和发展·矩阵·1024程序员节
l1t2 小时前
在windows中测试musql数据库
数据库·sqlite·go·1024程序员节
CRMEB系统商城2 小时前
家电零售的供应商协同与物流提效
java·开发语言·人工智能·小程序·1024程序员节
鬼手点金2 小时前
从 API 消息到模型 Token:Chat Template
java·前端·javascript·数据库·人工智能·深度学习·1024程序员节
王大师王文峰2 小时前
Java+AI 面试题(二):业务场景设计 10 例【客服机器人、合同审查、Text2SQL、告警降噪、成本优化】场景题答法与追问链路
java·开发语言·人工智能
CRMEB系统商城2 小时前
Redis + 消息队列 + 连接池:CRMEB PRO 性能优化的三驾马车
大数据·数据库·人工智能·小程序·php·1024程序员节