1、问题
项目中遇到or关联场景,即一张表两个列与另外一张表同一个列关联,经常因为一些复杂场景会出现一些性能问题,目前根据遇到的情况找到一种可以等价改写方式,并且能够适用这一类场景。
2、分析
2.1、场景1 left join or关联同一张表不同列
bash
select NVL(DM.ID,DS.MID) newMID,DS.*
from MM_S DS
left join MM_DB DM on (DS.MID=DM.ID or DS.MID=DM.OLD_ID)
where DS.BCODE='0402'
AND DS.acqty>0
AND DS.uqty>0
AND DS.US in (1,2);
理解:
DS.MID = DM.ID OR DS.MID = DM.OLD_ID
意思是如果DM.ID没匹配就判断同一行的DM.OLD_ID是否能匹配,union all没有去重,所以还不能简单直接改成union all,接下来进行拆解分析
假设
DS.MID=(1),(3),(3)
DM.ID,DM.OLD_ID=(1,2),(2,1),(3,3),(4,4)
此时DS.MID = DM.ID的结果
1、(1)(1,2)=(1,1,2)
2、(3) (3,3)=(3,3,3)
3、(3)(3,3)=(3,3,3)
DS.MID = DM.OLD_ID的结果
1、(1) (2,1)=(1,2,1)
2、(3)(3,3)=(3,3,3)
3、(3) (3,3)=(3,3,3)
union all的结果
(1,1,2)
(3,3,3)
(3,3,3)
(1,2,1)
(3,3,3)
(3,3,3)
union all是把同一行的两个列拆成两行了
实际上or关联的结果
1、(1)(1,2)=(1,1,2)
1、(1) (2,1)=(1,2,1)
2、(3)(3,3)=(3,3,3) --第二行的DS.MID = DM.ID
3、(3) (3,3)=(3,3,3) -- 第三行的DS.MID = DM.ID
因此我们应该要去重,union 有去重的效果。
在DM.ID是主键(唯一性)且DM.OLD_ID(如果数据情况如下(1,2),(2,1))
拆解成
select DM.ID,DM.ID ID1 from MM_DB DM
union select DM.OLD_ID,DM.ID ID1 from MM_DB DM
则结果
1,1
2,2
2,1
1,2
只有union第二部分
select DM.OLD_ID,DM.ID ID1 from MM_DB DM
与第一部分合并后才能产生重复值,因为第一部分是主键数据,不存在重复。
比较特殊的情况如下:
DS.MID如果都匹配到(1,2),(2,1),有以下几种情况能匹配上
(1)、(1)或(2)、(2)或(1)、(2),那么这种情况union和or关联最终结果都是4行,那么符合预期结果。
因此可以直接用union去改写。
附加验证例子
bash
create table t1(id1 int primary key,c1 int);
insert into t1 values(1,1),(2,3),(3,3);
commit;
create table t2(id int primary key,c2 int);
insert into t2 values(1,2),(2,1),(3,3),(4,4);
commit;
2.2 、场景2 exists/not exists子句中一张表不同列or关联同一列
bash
select count(1)
from MM_S DS
where DS.BCODE='0402'
AND DS.acqty>0
AND DS.uqty>0
AND DS.US in (1,2)
AND exists (select 1 from MM_DB DM where (DS.MID=DM.ID or DS.MID=DM.OLD_ID));
类似于left join or关联的做法,与之不同的是union可以用union all减少去重,因为exsist和not exsits只是判断是否存在,它具有隐性去重的特性,所以直接用union all即可。
3、等价改写
3.1、场景1 left join or关联同一张表不同列
场景1 等价改写如下:
select NVL(DM.IDS,DS.MID) newMID,DS.*
from MM_S DS
left join (select ID as ID,ID as IDS from MM_DB DM
union select old_id,id from mm_db dm) DM
on (DS.MID=DM.ID )
where DS.BCODE='0402'
AND DS.acqty>0
AND DS.uqty>0
AND DS.US in (1,2);
3.2、场景2 exists/not exists子句中一张表不同列or关联同一列
场景2等价改写如下:
bash
select count(1)
from MM_S DS
where DS.BCODE='0402'
AND DS.acqty>0
AND DS.uqty>0
AND DS.US in (1,2)
AND exists (select 1 from (select ID as ID,ID as IDS from MM_DB DM
union all select old_id,id from mm_db) dm where (DS.MID=DM.ID));
4、小结
(1) 以上的场景有个特殊的前置条件就是用来or判断关联的列中有主键。
(2)如果只是判断存在性,包括exists/not exists/in/not in这样的场景,子句具有隐性去重特点,可以将or用union all思路去替代改写。
此次带来两个or关联场景改写,后续如果有更多复杂场景再总结分享。