FlinkCDC系列:数据同步对部分字段的处理,只更新部分字段

在flinkCDC源数据配置中,只对表中的部分字段关注,通过监控部分字段进行数据更新或者不更新,对数据进行同步。主要通过以下两个参数:

column.exclude.list

默认: 空字符串

一个可选的、以逗号分隔的正则表达式列表,与列的完全限定名称匹配以从更改事件记录值中排除。列的完全限定名称的格式为databaseName。表名。列名。

column.include.list

默认: 空字符串

一个可选的、以逗号分隔的正则表达式列表,与列的完全限定名称匹配以包含在更改事件记录值中。列的完全限定名称的格式为databaseName。表名。列名。

单表可以只写列名,如果是多表、多库,必须要:databaseName.表名.列名,这种方式的配置。

REATE TABLE IF NOT EXISTS `test_source` (

`testid` varchar ( 32 ),

`name` int,

`addre` varchar ( 100 ),

`stat` int,

`updateTime` TIMESTAMP,

PRIMARY KEY ( `testid` ) NOT ENFORCED

) WITH (

'connector' = 'mysql-cdc',

'hostname' = '*******',

'port' = '**',

'username' = '***',

'password'='********',

'database-name' = 'dbname',

'scan.startup.mode' = 'initial',

'debezium.skipped.operations'='d,c',

'table-name' = 'tablename',

'debezium.column.include.list'='name,addre'

);

相关推荐
weixin_4708802631 分钟前
MySQL体系架构解析(二):MySQL目录与启动配置全解析
数据库·mysql·面试·mysql体系架构·mysql bin目录
英英_1 小时前
MySQL 日志数据同步的详细教程
数据库·mysql
Paddy哥1 小时前
linux 安装mysql8.0;支持国产麒麟,统信uos系统
linux·mysql·麒麟·统信uos·统信
长河2 小时前
Flink 重启后事件被重复消费的原因与解决方案
大数据·flink
朝九晚五ฺ3 小时前
【MySQL基础】数据库的备份与还原
数据库·mysql·oracle
emo了小猫6 小时前
Mybatis #{} 和 ${}区别,使用场景,LIKE模糊查询避免SQL注入
数据库·sql·mysql·mybatis
网安INF14 小时前
CVE-2020-17518源码分析与漏洞复现(Flink 路径遍历)
java·web安全·网络安全·flink·漏洞
天天摸鱼的java工程师15 小时前
高考放榜夜,系统别崩!聊聊查分系统怎么设计,三张表足以?
java·后端·mysql
exe45216 小时前
jdbc查询mysql数据库时,出现id顺序错误的情况
数据库·mysql
Johny_Zhao17 小时前
阿里云数据库Inventory Hint技术分析
linux·mysql·信息安全·云计算·系统运维