sql列中数据通过逗号分割的集合,对其中的值进行全表查重

来了来了,新的需求又双叒叕来了,在设计的逗号分割的集合中对值进行查重

通过前两篇文章,我们已经可以简单的实现查询、批量查询、 剔除值等功能

跳转 sql列中数据通过逗号分割的集合,按需求剔除部分值

前置

假设表"scrm_customer"

id mobile other
1 155xxx8,171xxx2,187xxx6 null
2 155xxx8 null
3 155xxx9 null
4 187xxx6 null

我们对该表进行查重 获取到重复的手机号

分析

假如我们的mobile不是,号分割的列,如何进行获取重复

我们可以通过 group by 对mobile进行分组,然后HAVING COUNT(mobile) > 1的

cpp 复制代码
select mobile from scrm_customer c GROUP BY c.owner_id HAVING COUNT(mobile) > 1

我们获取到单表的重复项如此简单,那么,能否将mobile的值展开,然后进行HAVING COUNT(mobile) > 1

实现

第一步,获取到整表中单条数据的手机号最大数量

cpp 复制代码
SELECT MAX((LENGTH(i.mobile) - LENGTH(REPLACE(i.mobile, ',', '')))) + 1 maxNub FROM scrm_customer i

第二步, 构建WITH RECURSIVE 数字方案

cpp 复制代码
WITH RECURSIVE numbers AS (SELECT 1 AS n UNION ALL SELECT n + 1 FROM numbers WHERE n < 6)
-- 得出传入的每一个值
SELECT n FROM numbers

我们将6替换成我们查询出来最大的手机号数量

第三步,使用CROSS JOIN 将原表将手机号的155xxx8,171xxx2,187xxx6拆分成三条数据,同时也会将单手机号的拆成三条

sql 复制代码
SELECT 
	-- 通过 CROSS 对mobile进行截取,如果超过则取最后一个数值
    SUBSTRING_INDEX(SUBSTRING_INDEX(i.mobile, ',', n.n), ',', -1) AS new_mobile
FROM 
    scrm_customer i
CROSS JOIN 
	-- 第一步获取到的最大数量并拆成n条数据
    (WITH RECURSIVE numbers AS (SELECT 1 AS n UNION ALL SELECT n + 1 FROM numbers WHERE n < (SELECT MAX((LENGTH(i.mobile) - LENGTH(REPLACE(i.mobile, ',', '')))) + 1 maxNub FROM scrm_customer i))
		SELECT  * FROM numbers) n

CROSS JOIN 是两个表关联的笛卡尔积,在其他地方慎用喔

SUBSTRING_INDEX:
cpp 复制代码
SUBSTRING_INDEX(str, delim, count)

参数说明

str: 要处理的字符串。

delim: 分隔符,用于分割字符串。

count: 指定要提取的子字符串的索引。可以是正数或负数。

如果 count 是正数,SUBSTRING_INDEX 返回字符串中第 count 次出现分隔符之前的所有内容。

如果 count 是负数,SUBSTRING_INDEX 返回字符串中倒数第 count 次出现分隔符之后的所有内容。

我们可以写个例子试试

cpp 复制代码
select SUBSTRING_INDEX("1,22,333,4444,55555,666666", ',', 3) nu1,
SUBSTRING_INDEX(SUBSTRING_INDEX("1,22,333,4444,55555,666666", ',', 3),',',2) nu2,
SUBSTRING_INDEX(SUBSTRING_INDEX("1,22,333,4444,55555,666666", ',', 3),',',-1) nu3
from dual;

将我们查出来的笛卡尔积进行处理,将id和mobile都是相同的数据排除出去,最终就是我们想要的mobile的展开数据

最简单的办法GROUP BY new_mobile,i.id

sql 复制代码
SELECT 
	-- 通过 CROSS 对mobile进行截取,如果超过则取最后一个数值
    SUBSTRING_INDEX(SUBSTRING_INDEX(i.mobile, ',', n.n), ',', -1) AS new_mobile
FROM 
    scrm_customer i
CROSS JOIN 
	-- 第一步获取到的最大数量并拆成n条数据
    (WITH RECURSIVE numbers AS (SELECT 1 AS n UNION ALL SELECT n + 1 FROM numbers WHERE n < (SELECT MAX((LENGTH(i.mobile) - LENGTH(REPLACE(i.mobile, ',', '')))) + 1 maxNub FROM scrm_customer i))
		SELECT  * FROM numbers) n
GROUP BY new_mobile,i.id

到这一步,我们已经获取到展开后的数据了,就可以用HAVING COUNT(mobile) > 1进行查重了

sql 复制代码
SELECT new_mobile FROM (	
		SELECT 
			-- 通过 CROSS 对mobile进行截取,如果超过则取最后一个数值
		    SUBSTRING_INDEX(SUBSTRING_INDEX(i.mobile, ',', n.n), ',', -1) AS new_mobile
		FROM 
		    scrm_customer i
		CROSS JOIN 
			-- 第一步获取到的最大数量并拆成n条数据
		    (WITH RECURSIVE numbers AS (SELECT 1 AS n UNION ALL SELECT n + 1 FROM numbers WHERE n < (SELECT MAX((LENGTH(i.mobile) - LENGTH(REPLACE(i.mobile, ',', '')))) + 1 maxNub FROM scrm_customer i))
				SELECT  * FROM numbers) n
		GROUP BY new_mobile,i.id
		) t
		GROUP BY t.new_mobile
HAVING COUNT(t.new_mobile) > 1

到此,我们就得到的我们想要的重复手机号啦

最后

唉!真是被这种逗号分割的集合害惨了,真是接了个烂摊子,去改造表吧,又催,里边的东西又多,梳理代码的时间比想办法解决的时间要长的多,就只能凑合用了,干死n多脑细胞,AI给的方法,基本不怎么能用

有更佳方案或者新奇想法的同学可以分享一下。

该文章为原创,未经允许禁止转载,谢谢

相关推荐
柊二三1 小时前
XML的简略知识点
xml·数据库·oracle
每天敲200行代码4 小时前
MySQL 事务管理
数据库·mysql·事务
巴里巴气4 小时前
MongoDB索引及其原理
数据库·mongodb
程序员勋勋14 小时前
Redis的String数据类型底层实现
数据库·redis·缓存
不修×蝙蝠5 小时前
MySQL 全详解:从入门到精通的实战指南
数据库·mysql·索引·最左前缀
我的ID配享太庙呀6 小时前
Django 科普介绍:从入门到了解其核心魅力
数据库·后端·python·mysql·django·sqlite
还是奇怪7 小时前
深入解析三大Web安全威胁:文件上传漏洞、SQL注入漏洞与WebShell
sql·安全·web安全
不辉放弃7 小时前
kafka的消费者负载均衡机制
数据库·分布式·kafka·负载均衡
拉姆哥的小屋7 小时前
用 Flask 打造宠物店线上平台:从 0 到 1 的全栈开发实践
数据库·oracle·flask
liliangcsdn8 小时前
mac neo4j install & verifcation
数据库·neo4j