通过内存去重替换SQL中distinct，优化SQL查询效率

懒虫虫~2025-09-15 18:34

一、背景

运维同事收到了生产环境的一条慢SQL告警，执行时间达到了10+秒，分析了业务场景，属于正常查询业务，而且SQL语句是上个版本新增的需求，于是在慧眼上，将SQL链路截图发给了开发进行修复。

二、分析

通过对SQL的执行索引情况分析，发现最后耗时在了distinct阶段，于是就想办法将去重放在内存中进行优化。

三、方案

1：SQL整改

优化前SQL

sql 复制代码

select distinct color,name .....

优化后SQL

sql 复制代码

select color,name .....

2：重写hashcode和equals方法

这里用Car举例，只是为了还原业务场景

java 复制代码

public class Car{
	private String color;
	private String name;
	@override
	public boolean equals(Object obj){
    	if(this == obj){
    		return true;
    	} 
    	if(obj == null || getClass() != obj.getClass()){
			return false;
		}
		Car car = (Car) obj;
		return StringUtils.equals(car.getColor(),this.color)
		       && StringUtils.equals(car.getName(),this.name);
    }

   @Override
   public int hashCode(){
		return Objects.hash(color,name);
   }
}

优化后，去掉了SQL中的distinct。

分批查询数据，最后对结果去重。

java 复制代码

List<Car> result = new ArrayList<>();
ListGroupUtils.groupListBySize(resultList,1000).forEach(
	list -> result.addAll(xxDao.findXXX(list))
);
return result.stream().distinct().collect(Collectors.toList());