clickhouse去重复数据解决方案

原因出现问题

因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中

从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。

解决方案

在仪表板调用统计相关接口之前,先将重复数据处理掉

OPTIMIZE TABLE table_name FINAL

这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据

相关推荐
雨中飘荡的记忆4 天前
ClickHouse_实战指南
clickhouse
云闲不收5 天前
clickhouse hbase Hive 区别
hive·clickhouse·hbase
f***01938 天前
clickhouse-介绍、安装、数据类型、sql
数据库·sql·clickhouse
j***630810 天前
clickhouse-介绍、安装、数据类型、sql
数据库·sql·clickhouse
IT油腻大叔13 天前
MySQL VS ClickHouse 索引结构对比分析
mysql·clickhouse
-KamMinG13 天前
解决 ClickHouse 备份性能问题:从原生 BACKUP 迁移到 clickhouse-backup 的实战经验
clickhouse
2301_8075832317 天前
ubuntu22.04集群部署clickhouse详细步骤
linux·clickhouse·zookeeper
Azure++19 天前
Centos安装clickhouse
linux·clickhouse·centos
阳爱铭22 天前
ClickHouse 中至关重要的两类复制表引擎——ReplicatedMergeTree和 ReplicatedReplacingMergeTree
大数据·hive·hadoop·sql·clickhouse·spark·hbase