不同列or关联同一列的等价改写

1、问题

项目中遇到or关联场景,即一张表两个列与另外一张表同一个列关联,经常因为一些复杂场景会出现一些性能问题,目前根据遇到的情况找到一种可以等价改写方式,并且能够适用这一类场景。

2、分析

2.1、场景1 left join or关联同一张表不同列
bash 复制代码
select NVL(DM.ID,DS.MID) newMID,DS.*
from MM_S DS
left join MM_DB DM on (DS.MID=DM.ID or DS.MID=DM.OLD_ID)
where DS.BCODE='0402'
 AND DS.acqty>0
AND DS.uqty>0
AND DS.US in (1,2);

理解:

DS.MID = DM.ID OR DS.MID = DM.OLD_ID

意思是如果DM.ID没匹配就判断同一行的DM.OLD_ID是否能匹配,union all没有去重,所以还不能简单直接改成union all,接下来进行拆解分析

假设

DS.MID=(1),(3),(3)

DM.ID,DM.OLD_ID=(1,2),(2,1),(3,3),(4,4)

此时DS.MID = DM.ID的结果

1、(1)(1,2)=(1,1,2)
2、(3)
(3,3)=(3,3,3)

3、(3)(3,3)=(3,3,3)
DS.MID = DM.OLD_ID的结果
1、(1)
(2,1)=(1,2,1)

2、(3)(3,3)=(3,3,3)
3、(3)
(3,3)=(3,3,3)

union all的结果

(1,1,2)

(3,3,3)

(3,3,3)

(1,2,1)

(3,3,3)

(3,3,3)

union all是把同一行的两个列拆成两行了

实际上or关联的结果

1、(1)(1,2)=(1,1,2)
1、(1)
(2,1)=(1,2,1)

2、(3)(3,3)=(3,3,3) --第二行的DS.MID = DM.ID
3、(3)
(3,3)=(3,3,3) -- 第三行的DS.MID = DM.ID

因此我们应该要去重,union 有去重的效果。

在DM.ID是主键(唯一性)且DM.OLD_ID(如果数据情况如下(1,2),(2,1))

拆解成

select DM.ID,DM.ID ID1 from MM_DB DM

union select DM.OLD_ID,DM.ID ID1 from MM_DB DM

则结果

1,1

2,2

2,1

1,2

只有union第二部分

select DM.OLD_ID,DM.ID ID1 from MM_DB DM

与第一部分合并后才能产生重复值,因为第一部分是主键数据,不存在重复。

比较特殊的情况如下:

DS.MID如果都匹配到(1,2),(2,1),有以下几种情况能匹配上

(1)、(1)或(2)、(2)或(1)、(2),那么这种情况union和or关联最终结果都是4行,那么符合预期结果。

因此可以直接用union去改写。

附加验证例子

bash 复制代码
create table t1(id1 int primary key,c1 int);
insert into t1 values(1,1),(2,3),(3,3);
commit;
create table t2(id int primary key,c2 int);
insert into t2 values(1,2),(2,1),(3,3),(4,4);
commit;
2.2 、场景2 exists/not exists子句中一张表不同列or关联同一列
bash 复制代码
select count(1)
from MM_S DS
where DS.BCODE='0402'
 AND DS.acqty>0
AND DS.uqty>0
AND DS.US in (1,2)
AND exists (select 1 from MM_DB DM where (DS.MID=DM.ID or DS.MID=DM.OLD_ID));

类似于left join or关联的做法,与之不同的是union可以用union all减少去重,因为exsist和not exsits只是判断是否存在,它具有隐性去重的特性,所以直接用union all即可。

3、等价改写

3.1、场景1 left join or关联同一张表不同列

场景1 等价改写如下:

select NVL(DM.IDS,DS.MID) newMID,DS.*

from MM_S DS

left join (select ID as ID,ID as IDS from MM_DB DM

union select old_id,id from mm_db dm) DM

on (DS.MID=DM.ID )

where DS.BCODE='0402'

AND DS.acqty>0

AND DS.uqty>0

AND DS.US in (1,2);

3.2、场景2 exists/not exists子句中一张表不同列or关联同一列

场景2等价改写如下:

bash 复制代码
select count(1)
from MM_S DS
where DS.BCODE='0402'
 AND DS.acqty>0
AND DS.uqty>0
AND DS.US in (1,2)
AND exists (select 1 from (select ID as ID,ID as IDS from MM_DB DM 
union all select old_id,id from mm_db) dm where (DS.MID=DM.ID));

4、小结

(1) 以上的场景有个特殊的前置条件就是用来or判断关联的列中有主键。

(2)如果只是判断存在性,包括exists/not exists/in/not in这样的场景,子句具有隐性去重特点,可以将or用union all思路去替代改写。

此次带来两个or关联场景改写,后续如果有更多复杂场景再总结分享。

相关推荐
红红谈说2 小时前
标签化推送与已读统计怎么做?一次通知链路的工程复盘
数据库·消息推送·数字乡村·集合运算·已读回执·标签体系·写入放大
Shadow(⊙o⊙)2 小时前
MySQL索引
数据库·mysql
倔强的石头_4 小时前
多环境配置治理:开发、测试、生产连接信息如何隔离
数据库
杨云龙UP4 小时前
一次数据库查询缓慢故障复盘:大表数据增长、SQL全表扫描导致系统响应异常
linux·运维·服务器·数据库·sql·mysql
2501_933670794 小时前
2027 应用统计学秋招选岗指南:统计、SQL、业务指标如何对应岗位
数据库·sql
Alice-YUE5 小时前
向量数据库选型实战:Chroma/Qdrant/Milvus/PgVector 怎么选
数据库·milvus·向量数据库·chroma·rag·qdrant
invicinble5 小时前
python 编程语言 认识维度
开发语言·数据库·python
IT古董5 小时前
《FDE前沿部署工程师实战教程》29 - Enterprise AI Security:Agent安全体系设计
大数据·数据库·人工智能
OpenCSG5 小时前
行业观察 | 在宜昌看具身智能:开源社区被摆到了台前
数据库·开源
喆星时瑜5 小时前
RStudio 数据清洗案例教程
大数据·数据库