clickhouse去重复数据解决方案

原因出现问题

因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中

从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。

解决方案

在仪表板调用统计相关接口之前,先将重复数据处理掉

OPTIMIZE TABLE table_name FINAL

这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据

相关推荐
跳跳的向阳花9 小时前
08、Docker学习,常用安装:ClickHouse
学习·clickhouse·docker
狮歌~资深攻城狮12 小时前
ClickHouse与Doris对比:数据处理领域的“华山论剑”
clickhouse
那些乐趣12 小时前
已经使用中的clickhouse更改数据目录
java·服务器·clickhouse
狮歌~资深攻城狮3 天前
ClickHouse和Doris怎么选型
clickhouse
叶域22 天前
ClickHouse总体学习
学习·clickhouse
时空无限22 天前
clickhouse清除system 表数据释放磁盘空间
数据库·clickhouse
angryshan22 天前
ClickHouse合并任务与查询延迟专项测试
数据库·clickhouse·php
fusugongzi23 天前
spring boot连接clickhouse集群,实现故障节点自动切换
java·spring boot·clickhouse
AAEllisonPang23 天前
ClickHouse优化技巧实战指南:从原理到案例解析
clickhouse
Faith_xzc1 个月前
Doris vs ClickHouse 企业级实时分析引擎怎么选?
大数据·数据库·clickhouse·数据库开发