clickhouse去重复数据解决方案

原因出现问题

因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中

从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。

解决方案

在仪表板调用统计相关接口之前,先将重复数据处理掉

OPTIMIZE TABLE table_name FINAL

这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据

相关推荐
Fireworkitte2 天前
ClickHouse详解
clickhouse
知其_所以然3 天前
使用docker安装clickhouse集群
clickhouse·docker·容器
wuli玉shell3 天前
Doris和Clickhouse对比
clickhouse·doris
SelectDB技术团队6 天前
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
大数据·数据仓库·clickhouse·elasticsearch·信息可视化·doris·半结构化
goTsHgo6 天前
ClickHouse多表join的性能优化:原理与源码详解
clickhouse·性能优化
妖果yaoyao8 天前
docker 部署clickhouse
clickhouse·docker·容器
鱼鱼不愚与9 天前
处理 Clickhouse 内存溢出
数据库·分布式·clickhouse
Wonderful_一直有你9 天前
clickhouse - 重新建表覆盖旧表-解决分区时间错误问题-197001
clickhouse
千月落12 天前
ClickHouse副本集群
服务器·数据库·clickhouse
Steven-Russell12 天前
Clickhouse基于breakpad生成minidump文件,方便问题定位
clickhouse·breakpad