通过内存去重替换SQL中distinct,优化SQL查询效率

一、背景

运维同事收到了生产环境的一条慢SQL告警,执行时间达到了10+秒,分析了业务场景,属于正常查询业务,而且SQL语句是上个版本新增的需求,于是在慧眼上,将SQL链路截图发给了开发进行修复。

二、分析

通过对SQL的执行索引情况分析,发现最后耗时在了distinct阶段,于是就想办法将去重放在内存中进行优化。

三、方案

1:SQL整改

优化前SQL

sql 复制代码
select distinct color,name .....

优化后SQL

sql 复制代码
select color,name .....

2:重写hashcode和equals方法

这里用Car举例,只是为了还原业务场景

java 复制代码
public class Car{
	private String color;
	private String name;
	@override
	public boolean equals(Object obj){
    	if(this == obj){
    		return true;
    	} 
    	if(obj == null || getClass() != obj.getClass()){
			return false;
		}
		Car car = (Car) obj;
		return StringUtils.equals(car.getColor(),this.color)
		       && StringUtils.equals(car.getName(),this.name);
    }

   @Override
   public int hashCode(){
		return Objects.hash(color,name);
   }
}

优化后,去掉了SQL中的distinct。

分批查询数据,最后对结果去重。

java 复制代码
List<Car> result = new ArrayList<>();
ListGroupUtils.groupListBySize(resultList,1000).forEach(
	list -> result.addAll(xxDao.findXXX(list))
);
return result.stream().distinct().collect(Collectors.toList());
相关推荐
艾菜籽3 分钟前
MyBatis操作数据库入门
java·数据库·mybatis
zfoo-framework5 分钟前
使用VisualVM进行java性能瓶颈定位 1.无需像JProfiler那样必须加启动参数???
java
蔚蓝星辰mic11 分钟前
数据库运维查询SQL语句集合
数据库·sql·1024程序员节
bug攻城狮21 分钟前
Spring Boot 2.6+ 整合 PageHelper 启动报错:循环依赖解决方案全解析
java·spring boot·后端
好学且牛逼的马1 小时前
MyBatis-Plus的深度解析
java
苏纪云1 小时前
数据结构<C++>——数组
java·数据结构·c++·数组·动态数组
典则1 小时前
STM32FreeRtos入门(五)——同步互斥与通信
java·jvm·stm32
你不是我我1 小时前
【Java 开发日记】我们来讲一讲阻塞队列及其应用
java·开发语言
互联网中的一颗神经元1 小时前
小白python入门 - 9. Python 列表2 ——从基础操作到高级应用
java·开发语言·python
大厂码农老A1 小时前
我带的外包兄弟放弃大厂转正,薪资翻倍入职字节
java·后端·面试