flink cdc同步mysql数据

一、api

添加依赖

xml 复制代码
<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-mysql-cdc</artifactId>
   <!--  请使用已发布的版本依赖,snapshot 版本的依赖需要本地自行编译。 -->
   <version>3.3-SNAPSHOT</version>
</dependency>

二、sql客户端

客户端只需要添加 flink-sql-connector-mysql-cdcjar包(注意:和api依赖的包名区分),这里面已经整合了debezium-connector-mysql模块

下载地址:

配置同步

sql 复制代码
CREATE TABLE mysql_cdc_source (
    order_id STRING,
    user_id STRING,
    amount DECIMAL(10,2),
    update_time TIMESTAMP(3),
    dt STRING,
    PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'chb1',
    'port' = '3306',
    'username' = 'root',
    'password' = '123456',
    'database-name' = 'paimon_test',
    'table-name' = 'mysql_orders',
    'server-time-zone' = 'Asia/Shanghai'  -- 时区配置(避免时间偏差)
);
select * from mysql_cdc_source;

参考:https://nightlies.apache.org/flink/flink-cdc-docs-master/zh/docs/connectors/flink-sources/mysql-cdc/

相关推荐
小王子102431 分钟前
Django模型开发:模型字段、元数据与继承全方位讲解
mysql·django·模型
九转苍翎2 小时前
全面解析MySQL(4)——三大范式与联合查询实例教程
mysql
什么半岛铁盒2 小时前
MySQL的常用数据类型详解
linux·数据库·mysql·adb
rannn_1113 小时前
【MySQL学习|黑马笔记|Day1】数据库概述,SQL|通用语法、SQL分类、DDL
数据库·后端·学习·mysql
Antonio9153 小时前
【MySQL】MySQL 缓存方案
数据库·mysql·缓存
越来越无动于衷5 小时前
基于 JWT 的登录验证功能实现详解
java·数据库·spring boot·mysql·mybatis
看天走路吃雪糕5 小时前
墨者:SQL手工注入漏洞测试(MySQL数据库-字符型)
数据库·mysql·sql注入·sqlmap·墨者学院·字符型注入
java叶新东老师10 小时前
git stash 命令详解
linux·运维·flink
每天敲200行代码12 小时前
MySQL 事务管理
数据库·mysql·事务