flinkCDC mysql

1.首先必须在要同步到源端和目标端创建好表

2.源端flinksql语句如下:

sql 复制代码
DROP TABLE IF EXISTS FLINK_SOURCE_hrpt_dtl;
create table FLINK_SOURCE_hrpt_dtl(
`template_dtl_id`bigint NOT NULL ,
  `template_id`bigint NOT NULL COMMENT '报表模板ID,hrpt_template.template_id',
  `template_url` varchar(480)   COMMENT '模板路径',
  `template_content` string  COMMENT '模板内容',
  `lang` varchar(30)  NOT NULL COMMENT '模板语言',
  `enabled_flag` tinyint NOT NULL  COMMENT '启用标识',
  `tenant_id`bigint NOT NULL  COMMENT '租户ID,hpfm_tenant.tenant_id',
  `object_version_number`bigint NOT NULL  COMMENT '行版本号,用来处理锁',
  `creation_date` timestamp NOT NULL,
  `created_by`bigint NOT NULL ,
  `last_updated_by`bigint NOT NULL ,
  `last_update_date` timestamp NOT NULL,
	PRIMARY KEY (`template_dtl_id`) NOT ENFORCED
)with (
'connector' = 'mysql-cdc',
'hostname' = '1.6.2.13',
'port' = '3306',
'username' = 'test',
'password' = 'test@123',
'database-name' = 'report',
'table-name' = 'hrpt_dtl',
'scan.incremental.snapshot.enabled' = 'false',
'debezium.database.tablename.case.insensitive' = 'false',
'debezium.log.mining.strategy' = 'online_catalog',
'server-time-zone' = 'Asia/Shanghai',
'debezium.log.mining.continuous.mine' = 'true'
);

3.目标端flinksql模板

sql 复制代码
DROP TABLE IF EXISTS FLINK_TARGET_hrpt_dtl;
create table FLINK_TARGET_hrpt_dtl(
`template_dtl_id`bigint NOT NULL ,
  `template_id`bigint NOT NULL COMMENT '报表模板ID,hrpt_template.template_id',
  `template_url` varchar(480)   COMMENT '模板路径',
  `template_content` string  COMMENT '模板内容',
  `lang` varchar(30)  NOT NULL COMMENT '模板语言',
  `enabled_flag` tinyint NOT NULL  COMMENT '启用标识',
  `tenant_id`bigint NOT NULL  COMMENT '租户ID,hpfm_tenant.tenant_id',
  `object_version_number`bigint NOT NULL  COMMENT '行版本号,用来处理锁',
  `creation_date` timestamp NOT NULL,
  `created_by`bigint NOT NULL ,
  `last_updated_by`bigint NOT NULL ,
  `last_update_date` timestamp NOT NULL,
	PRIMARY KEY (`template_dtl_id`) NOT ENFORCED
)with (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://10.6.28.10:3306/cdc?useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC&serverTimezone=Asia/Shanghai',
'username' = 'test',
'password' = 'test@123',
'table-name' = 'hrpt_dtl',
'driver' = 'com.mysql.jdbc.Driver',
'scan.fetch-size' = '200'
);

4.把源端数据插入到目标端

sql 复制代码
insert into FLINK_TARGET_hrpt_dtl select * from FLINK_TARGET_hrpt_dtl ;

以上就是flink_CDC的全部过程。

相关推荐
PingCAP22 分钟前
平凯数据库 × 圣诺云数:让治理数据实时可用、跨域可信流通
数据库·tidb
利威尔xu31 分钟前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
PingCAP32 分钟前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
数据库·tidb
Decay__1 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
杨凯凡1 小时前
Spring Framework 7 原生重试与并发限制实战:@Retryable、@ConcurrencyLimit 能替代 Resilience4j 吗?
数据库·spring·sqlserver
星恒随风1 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
zdr尽职尽责2 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
txxzjmzlh3 小时前
Redis 介绍及简单使用
数据库·redis·缓存
进击的荆棘3 小时前
MySQL——数据类型
数据库·mysql
TDengine (老段)3 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp