用flinkcdc debezium来捕获数据库的删除内容

我在用flinkcdc把数据从sqlserver写到doris

正常情况下sqlserver有删除数据,doris是能捕获到并很快同步删除的。

但是我现在情况是doris做为数仓,数据写到ods,ods的数据还会通过flink计算后写入dwd层,所以此时ods的数据是删除了,但是dwd甚至ads的都没删除,这样就会有脏数据。此时我们就需要去捕获被删除的数据,就要用到debezium插件。

利用cdc把数据从sqlserver发送到kafka,并转为debezium的json格式。

source表正常配,sink-kafka的表配置如下:

然后再拉一个工作流

想获取数据的话,就用如下方式:

很多人不懂op是什么,c是什么,接下来解释下:

debezium会有四种op的数据,

  • op :表示当前事件的类型,取值为:c表示insert、u表示update、d表示delete、r表示快照read;
  • ts_ms: connector处理该事件的本地时间戳,可以省略;
  • before:变化事件发生之前的值;
  • after:变化事件发生之后的值;
  • source:事件源的结构信息,包括connector版本、事务ID等;

举个例子:

  • 新增一条数据:

    insert into inventory.a values (4, 'n4');

控制台输出的是:

复制代码
..."payload":{"before":null,"after":{"id":4,"name":"n4"}..."op":"c"...
  • 修改一条数据:

    update inventory.a set name = 'n4-upd' where id = 4;

控制台输出的是:

复制代码
..."payload":{"before":{"id":4,"name":"n4"},"after":{"id":4,"name":"n4-upd"}..."op":"u"...
  • 删除一条数据:

    delete from inventory.a where id = 1;

控制台输出的是:

复制代码
..."payload":{"before":{"id":1,"name":"n1"},"after":null..."op":"d"...

这样就可以获取到被删除的数据,或者是更新前的数据啦~

相关推荐
忧郁的蛋~42 分钟前
EFcore查询a表中符合b表列的值
数据库
xwz小王子1 小时前
ManipulationNet:开启真实世界机器人操作基准测试新时代
数据库·机器人
咯哦哦哦哦1 小时前
关于QT 打印中文 乱码问题
java·数据库·qt
野犬寒鸦2 小时前
从零起步学习Redis || 第十二章:Redis Cluster集群如何解决Redis单机模式的性能瓶颈及高可用分布式部署方案详解
java·数据库·redis·后端·缓存
ShooterJ2 小时前
Mysql小表驱动大表优化原理
数据库·后端·面试
程序员三明治2 小时前
【MyBatis从入门到入土】告别JDBC原始时代:零基础MyBatis极速上手指南
数据库·mysql·mybatis·jdbc·数据持久化·数据
cookqq2 小时前
MongoDB源码delete分析oplog:从删除链路到核心函数实现
数据结构·数据库·sql·mongodb·nosql
瀚高PG实验室4 小时前
HGDB集群(安全版)repmgr手动切换主备库
java·数据库·安全·瀚高数据库
mit6.8244 小时前
[C# starter-kit] Domain Entities | `AuditableEntity`基类 | 跟踪变化 | 软删除
数据库·microsoft·c#
潇凝子潇4 小时前
MySQL Redo Log 和 Undo Log 满了会有什么问题
数据库·mysql