kafka数据异常记录

由于公司使用英方同步工具：

Oracle --> Oracle

Oracle --> Kafka

MySQL -->Kafka --> Oracle

其中 第一个链路最稳定，同步到kafka的数据偶尔会出问题。

{
  "owner": "mydb",
  "op": 2,
  "actseq": 431649,
  "before": {},
  "sdbtype": "mysql",
  "scntime": 1771905611,
  "sync": "1",
  "optype": "UPDATE",
  "xid": null,
  "before_key": {},
  "name": "table_1",
  "after_key": {},
  "jstime": 1771905621804000,
  "after": {},
  "scn": "mysqlbin.017660:0000000302307202;41399260"
}

上面是kafka中发现的一条数据：其中before和after都是空，导致写入snap表中数据都是null。

解决方案：

（1）英方软件bug问题，升级新版本

（2）修改写入snap脚本，过滤掉before和after都是空的数据