MySQL-删除重复数据

在实际应用中,遇到一个这样的问题,MySQL中存储的数据为资讯类数据,在页面展示时会出现多个平台的新闻报导相同的内容,导致页面会出现重复数据。因为数据是每天定期更新,所以最快捷有效的方式是在更新完数据后增加一个去重操作。

实现逻辑如下:

写一个定时删除的脚本,每天定时执行,通过对数据中title进行聚合去重:将数据按title分组,取id最小的数据进行记录,然后将id不在该列表的数据删除。

代码如下:

sql 复制代码
DELETE FROM worldhm_info_major_news
WHERE id NOT IN (
    SELECT MIN(id) min_id
			FROM worldhm_info_major_news
			WHERE pub_date > "2023-09-24 00:00:00"
			GROUP BY title
) AND pub_date > "2023-09-24 00:00:00";

运行上述代码时报错:

该错误大致意思为不能依据某字段值做判断再来更新某字段的值。

解决方法

解决方法:select 的结果再通过一个中间表 select 多一次,就可以避免这个错误

sql 复制代码
DELETE FROM worldhm_info_major_news
WHERE id NOT IN (
select min_id from (
    SELECT MIN(id) min_id
    FROM worldhm_info_major_news
	WHERE pub_date > "2023-09-24 00:00:00"
    GROUP BY title) a
) AND pub_date > "2023-09-24 00:00:00";
相关推荐
雨落Liy26 分钟前
SQL 函数从入门到精通:原理、类型、窗口函数与实战指南
数据库·sql
Kt&Rs1 小时前
MySQL复制技术的发展历程
数据库·mysql
小小菜鸡ing1 小时前
pymysql
java·服务器·数据库
手握风云-1 小时前
MySQL数据库精研之旅第十六期:深度拆解事务核心(上)
数据库·mysql
boonya2 小时前
Redis核心原理与面试问题解析
数据库·redis·面试
沙二原住民3 小时前
提升数据库性能的秘密武器:深入解析慢查询、连接池与Druid监控
java·数据库·oracle
三毛20043 小时前
玳瑁的嵌入式日记D33-0908(SQL数据库)
jvm·数据库·sql
叫我龙翔3 小时前
【MySQL】从零开始了解数据库开发 --- 库的操作
数据库·mysql·数据库开发
没有bug.的程序员3 小时前
Redis Stream:轻量级消息队列深度解析
java·数据库·chrome·redis·消息队列
GottdesKrieges3 小时前
OceanBase容量统计:租户、数据库、表大小
数据库·oceanbase