clickhouse去重复数据解决方案

原因出现问题

因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中

从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。

解决方案

在仪表板调用统计相关接口之前,先将重复数据处理掉

OPTIMIZE TABLE table_name FINAL

这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据

相关推荐
=蜗牛=1 天前
Docker 简单部署 ClickHouse 超详细图文步骤
clickhouse·docker·容器·部署·图文
狼与自由2 天前
clickhouse log引擎
clickhouse
狼与自由3 天前
clickhouse AggregatingMergeTree
clickhouse
狼与自由3 天前
clickhouse ReplacingMergeTree
android·clickhouse
狼与自由4 天前
clickhouse中的分区
clickhouse
狼与自由4 天前
clickhouse 查询
clickhouse
狼与自由4 天前
clickhouse mergeTree
clickhouse
狼与自由5 天前
clickhouse建表
clickhouse
简简单单就是我_hehe5 天前
clickhouse内置函数和关键词总结
clickhouse
狼与自由5 天前
clickhouse引擎
clickhouse·c#·linq