FlinkCDC系列:数据同步对部分字段的处理,只更新部分字段

在flinkCDC源数据配置中,只对表中的部分字段关注,通过监控部分字段进行数据更新或者不更新,对数据进行同步。主要通过以下两个参数:

column.exclude.list

默认: 空字符串

一个可选的、以逗号分隔的正则表达式列表,与列的完全限定名称匹配以从更改事件记录值中排除。列的完全限定名称的格式为databaseName。表名。列名。

column.include.list

默认: 空字符串

一个可选的、以逗号分隔的正则表达式列表,与列的完全限定名称匹配以包含在更改事件记录值中。列的完全限定名称的格式为databaseName。表名。列名。

单表可以只写列名,如果是多表、多库,必须要:databaseName.表名.列名,这种方式的配置。

REATE TABLE IF NOT EXISTS `test_source` (

`testid` varchar ( 32 ),

`name` int,

`addre` varchar ( 100 ),

`stat` int,

`updateTime` TIMESTAMP,

PRIMARY KEY ( `testid` ) NOT ENFORCED

) WITH (

'connector' = 'mysql-cdc',

'hostname' = '*******',

'port' = '**',

'username' = '***',

'password'='********',

'database-name' = 'dbname',

'scan.startup.mode' = 'initial',

'debezium.skipped.operations'='d,c',

'table-name' = 'tablename',

'debezium.column.include.list'='name,addre'

);

相关推荐
JZC_xiaozhong1 小时前
电商ERP如何同步订单数据到MySQL?集成方案解析
数据库·mysql·数据分析·etl工程师·嵌入式实时数据库·电商erp集成·数据集成与应用集成
-大头.3 小时前
Docker实战:构建高性能MySQL主从复制集群(读写分离)
mysql·docker·容器
burning_maple3 小时前
mysql数据库笔记
数据库·笔记·mysql
周某人姓周4 小时前
sqlilabs靶场通关详解
数据库·mysql·安全·网络安全
霖霖总总5 小时前
[小技巧41]InnoDB 如何判断一行数据是否可见?MVCC 可见性机制深度解析
数据库·mysql
Mr.徐大人ゞ7 小时前
生产可用的 MySQL8 一键安装脚本和一键巡检脚本
mysql
星梦清河7 小时前
MySQL—分组函数
数据库·mysql
霖霖总总8 小时前
[小技巧33]MySQL 事务持久化的一致性保障:binlog 与 redo log 的两阶段提交机制解析
数据库·mysql
消失的旧时光-194311 小时前
第五课:数据库不是存数据那么简单 —— MySQL 与索引的后端视角
数据库·mysql
nice_lcj52011 小时前
MySQL中GROUP_CONCAT函数详解 | 按日期分组拼接销售产品经典案例
数据库·mysql