原因出现问题
因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中
从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。
解决方案
在仪表板调用统计相关接口之前,先将重复数据处理掉
OPTIMIZE TABLE table_name FINAL
这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据
因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件,所以mysql数据的实时操作都会同步数据到maxwell中
从而导致新增插入一条,修改插入一条,删除插入一条,导致同一条数据有大量的重复数据。
在仪表板调用统计相关接口之前,先将重复数据处理掉
OPTIMIZE TABLE table_name FINAL
这样就可以根据order by (uuid) 的uuid去掉重复数据,保留最新的一条数据