解决sql查询中in查询项过多时很慢的问题

最近遇到查询一张大数据量表时,需要对一个字段做in查询,in中的元素数量可能达到几千个,即使对这个字段加上索引,速度也慢到无法接受

示例表结构如下:

表中有几十万的数据,且example_id和data_id字段加了联合索引,只做一个简单的select查询:

sql 复制代码
select * from TEST_TABLE01 where example_id=:exampleId and data_id in(:dataIds)

其中in存在1000个元素,查询速度很慢,因为in的个数太多,会全表扫描,导致索引失效。

优化方案:

不使用in语法,将sql语句简化成下面这种,索引就生效了

sql 复制代码
select * from TEST_TABLE01 where example_id=:exampleId and data_id=:dataId

但是这样一次只能查询一条data_id匹配的数据,这就意味着程序要和数据库交互1000次,但是我测试的速度要快于上面的in方式。

进一步优化,减少数据库交互方式,使用union all拼接sql:

sql 复制代码
select * from TEST_TABLE01 where example_id=:exampleId and data_id=:dataId0
union all
select * from TEST_TABLE01 where example_id=:exampleId and data_id=:dataId1
union all
select * from TEST_TABLE01 where example_id=:exampleId and data_id=:dataId2
union all
select * from TEST_TABLE01 where example_id=:exampleId and data_id=:dataId3
...
...
union all
select * from TEST_TABLE01 where example_id=:exampleId and data_id=:dataId999

程序中对dataId的参数进行组装,这样只和数据库交互一次,索引也不会失效,这种方式解决了in查询慢的问题。

对于delete也可以使用类似的方式优化:

sql 复制代码
delete from TEST_TABLE01 a
WHERE exists (
    select * from (
        select * TEST_TABLE01 where example_id=:exampleId and data_id=:dataId0
        union all
        select * TEST_TABLE01 where example_id=:exampleId and data_id=:dataId1
    ) b where a.id=b.id
)
相关推荐
不辉放弃14 分钟前
Spark的累加器(Accumulator)
大数据·数据库·spark
aini_lovee29 分钟前
python命令行解析模块argparse
服务器·前端·数据库
Chase_______30 分钟前
redis快速入门及使用
java·数据库·redis·学习·spring·缓存
不辉放弃41 分钟前
Spark的宽窄依赖
大数据·数据库·pyspark
noravinsc1 小时前
django 按照外键排序
数据库·django·sqlite
ALLSectorSorft1 小时前
相亲小程序聊天与互动系统模块搭建
java·数据库·sql·microsoft·oracle
鼠鼠我捏,要死了捏2 小时前
MySQL 索引设计与查询性能优化实践指南
数据库·mysql·性能优化
HMBBLOVEPDX2 小时前
MySQL的单行函数:
数据库·mysql·函数
小豪GO!2 小时前
MySQL索引和事务笔记
数据库·笔记·mysql
看天走路吃雪糕3 小时前
墨者:SQL注入漏洞测试(HTTP头注入)
数据库·http·sql注入·burpsuite·墨者学院·host注入