clickhouse去重复数据解决方案

原因出现问题

因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中

从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。

解决方案

在仪表板调用统计相关接口之前,先将重复数据处理掉

OPTIMIZE TABLE table_name FINAL

这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据

相关推荐
MMMMMMMMMMemory3 天前
clickhouse迁移工具clickhouse-copier
clickhouse
securitor3 天前
【clickhouse】设置密码
clickhouse
天道有情战天下6 天前
ClickHouse使用Docker部署
clickhouse·docker·容器
冷雨夜中漫步7 天前
ClickHouse常见问题——ClickHouseKeeper配置listen_host后不生效
java·数据库·clickhouse
qq_339191147 天前
docker 启动一个clickhouse , docker 创建ck数据库
clickhouse·docker·容器
Kookoos9 天前
ABP + ClickHouse 实时 OLAP:物化视图与写入聚合
clickhouse·c#·linq·abp vnext·实时olap
喂完待续10 天前
【Big Data】AI赋能的ClickHouse 2.0:从JIT编译到LLM查询优化,下一代OLAP引擎进化路径
大数据·数据库·clickhouse·数据分析·olap·big data·序列晋升
阿里云大数据AI技术19 天前
鹰角网络基于阿里云 EMR Serverless StarRocks 的实时分析工程实践
starrocks·clickhouse·阿里云·emr·实时分析
更深兼春远21 天前
flink+clinkhouse安装部署
大数据·clickhouse·flink