clickhouse去重复数据解决方案

原因出现问题

因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中

从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。

解决方案

在仪表板调用统计相关接口之前,先将重复数据处理掉

OPTIMIZE TABLE table_name FINAL

这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据

相关推荐
积跬步,慕至千里6 小时前
clickhouse数据库表和doris数据库表迁移starrocks数据库时建表注意事项总结
数据库·clickhouse
Edingbrugh.南空12 小时前
Flink ClickHouse 连接器数据读取源码深度解析
java·clickhouse·flink
Edingbrugh.南空12 小时前
ClickHouse 全生命周期性能优化
clickhouse·性能优化
Edingbrugh.南空2 天前
Flink ClickHouse 连接器维表源码深度解析
java·clickhouse·flink
unhurried人生——冕临4 天前
Ubuntu安装ClickHouse
clickhouse
爱吃萝卜的猪15 天前
Clickhouse源码分析-Replicated Database创建流程
clickhouse
编程的大耳朵15 天前
ClickHouse 概述
clickhouse
Ethan301415 天前
Clickhouse官方文档学习笔记
笔记·学习·clickhouse
weixin_3077791316 天前
Python实现MySQL建表语句转换成Clickhouse SQL
数据库·python·sql·mysql·clickhouse
大千AI助手1 个月前
硬核实战 | 3分钟Docker部署ClickHouse列存数据库
大数据·clickhouse·docker·database