通过内存去重替换SQL中distinct,优化SQL查询效率

一、背景

运维同事收到了生产环境的一条慢SQL告警,执行时间达到了10+秒,分析了业务场景,属于正常查询业务,而且SQL语句是上个版本新增的需求,于是在慧眼上,将SQL链路截图发给了开发进行修复。

二、分析

通过对SQL的执行索引情况分析,发现最后耗时在了distinct阶段,于是就想办法将去重放在内存中进行优化。

三、方案

1:SQL整改

优化前SQL

sql 复制代码
select distinct color,name .....

优化后SQL

sql 复制代码
select color,name .....

2:重写hashcode和equals方法

这里用Car举例,只是为了还原业务场景

java 复制代码
public class Car{
	private String color;
	private String name;
	@override
	public boolean equals(Object obj){
    	if(this == obj){
    		return true;
    	} 
    	if(obj == null || getClass() != obj.getClass()){
			return false;
		}
		Car car = (Car) obj;
		return StringUtils.equals(car.getColor(),this.color)
		       && StringUtils.equals(car.getName(),this.name);
    }

   @Override
   public int hashCode(){
		return Objects.hash(color,name);
   }
}

优化后,去掉了SQL中的distinct。

分批查询数据,最后对结果去重。

java 复制代码
List<Car> result = new ArrayList<>();
ListGroupUtils.groupListBySize(resultList,1000).forEach(
	list -> result.addAll(xxDao.findXXX(list))
);
return result.stream().distinct().collect(Collectors.toList());
相关推荐
养生技术人11 分钟前
Oracle OCP认证考试题目详解082系列第54题
数据库·sql·oracle·运维开发·database·开闭原则·ocp
领创工作室17 分钟前
安卓设备分区作用详解-测试机红米K40
android·java·linux
朝新_1 小时前
【EE初阶 - 网络原理】网络通信
java·开发语言·网络·php·javaee
TeleostNaCl1 小时前
使用 jintellitype 库在 Java 程序中实现监听 Windows 全局快捷键(热键)
java·开发语言·windows·经验分享·kotlin·电脑
GISer_Jing1 小时前
前端GIS篇——WebGIS、WebGL、Java后端篇
java·前端·webgl
皮皮林5511 小时前
Spring Boot 实现微信登录,So Easy !
java
tuokuac2 小时前
springMVC中/*与/**匹配的区别
java·spring
珹洺2 小时前
Java-Spring 入门指南(十七)SpringMVC--Apipostl与RestFul实战测试
java·spring·restful
编程充电站pro3 小时前
SQL 子查询与多表 JOIN 用法大全(速查版)
数据库·sql
祈祷苍天赐我java之术3 小时前
Redis 有序集合解析
java·前端·windows·redis·缓存·bootstrap·html