kafka数据异常记录

由于公司使用英方同步工具:

Oracle --> Oracle

Oracle --> Kafka

MySQL -->Kafka --> Oracle

其中 第一个链路最稳定,同步到kafka的数据偶尔会出问题。

bash 复制代码
{
  "owner": "mydb",
  "op": 2,
  "actseq": 431649,
  "before": {},
  "sdbtype": "mysql",
  "scntime": 1771905611,
  "sync": "1",
  "optype": "UPDATE",
  "xid": null,
  "before_key": {},
  "name": "table_1",
  "after_key": {},
  "jstime": 1771905621804000,
  "after": {},
  "scn": "mysqlbin.017660:0000000302307202;41399260"
}

上面是kafka中发现的一条数据:其中before和after都是空,导致写入snap表中数据都是null。

解决方案:

(1)英方软件bug问题,升级新版本

(2)修改写入snap脚本,过滤掉before和after都是空的数据

相关推荐
goehou10 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯12 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence15 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626121 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛3 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人3 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人4 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch