FlinkCDC系列:通过skipped.operations参数选择性处理新增、更新、删除数据

在flinkCDC源数据配置,通过debezium.skipped.operations参数控制,配置需要过滤的 oplog 操作。操作包括 c 表示插入,u 表示更新,d 表示删除。默认情况下,不跳过任何操作,以逗号分隔。配置多个操作,需要英文逗号分隔。

官网说明地址:Debezium connector for MySQL :: Debezium Documentation

使用实例如下:

REATE TABLE IF NOT EXISTS `test_source` (

`testid` varchar ( 32 ),

`name` int,

`addre` varchar ( 100 ),

`stat` int,

`updateTime` TIMESTAMP,

PRIMARY KEY ( `testid` ) NOT ENFORCED

) WITH (

'connector' = 'mysql-cdc',

'hostname' = '*******',

'port' = '**',

'username' = '***',

'password'='********',

'database-name' = 'dbname',

'scan.startup.mode' = 'initial',

'debezium.skipped.operations'='d,c',

'table-name' = 'tablename'

);

相关推荐
程序猿乐锅几秒前
【MySQL | 第七篇】 索引使用规则
数据库·sql·mysql
Lyyaoo.8 分钟前
【MySQL】锁机制
android·数据库·mysql
锋行天下43 分钟前
中小项目高可用,真的需要K8s吗?从单机备份到企业级架构的完整思考
后端·mysql·nginx
無限進步D1 小时前
MySQL 约束
数据库·mysql
AOwhisky1 小时前
MySQL 学习笔记(第五期):用户管理与权限控制
linux·运维·数据库·笔记·学习·mysql
SPC的存折2 小时前
MySQL完整学习手册(视频精华版)
学习·mysql·音视频
C137的本贾尼2 小时前
JDBC 编程:用 Java 连接 MySQL
java·开发语言·mysql
C137的本贾尼2 小时前
MySQL 整体架构与存储引擎对比
数据库·mysql·架构
j_xxx404_3 小时前
MySQL数据库基础硬核解析:从 C/S 网络服务到磁盘文件与存储引擎
linux·运维·服务器·开发语言·数据库·mysql·ai
Database_Cool_18 小时前
AnalyticDB MySQL vs StarRocks/ByteHouse:云数仓选型指南——全托管 vs 自建方案
数据库·数据仓库·mysql·阿里云