MySQL-删除重复数据

不加班程序员2024-01-27 14:04

在实际应用中，遇到一个这样的问题，MySQL中存储的数据为资讯类数据，在页面展示时会出现多个平台的新闻报导相同的内容，导致页面会出现重复数据。因为数据是每天定期更新，所以最快捷有效的方式是在更新完数据后增加一个去重操作。

实现逻辑如下：

写一个定时删除的脚本，每天定时执行，通过对数据中title进行聚合去重：将数据按title分组，取id最小的数据进行记录，然后将id不在该列表的数据删除。

代码如下：

sql 复制代码

DELETE FROM worldhm_info_major_news
WHERE id NOT IN (
    SELECT MIN(id) min_id
			FROM worldhm_info_major_news
			WHERE pub_date > "2023-09-24 00:00:00"
			GROUP BY title
) AND pub_date > "2023-09-24 00:00:00";

运行上述代码时报错：

该错误大致意思为不能依据某字段值做判断再来更新某字段的值。

解决方法

解决方法：select 的结果再通过一个中间表 select 多一次，就可以避免这个错误

sql 复制代码

DELETE FROM worldhm_info_major_news
WHERE id NOT IN (
select min_id from (
    SELECT MIN(id) min_id
    FROM worldhm_info_major_news
	WHERE pub_date > "2023-09-24 00:00:00"
    GROUP BY title) a
) AND pub_date > "2023-09-24 00:00:00";