FlinkCDC 3.1.0 与 Flink 1.18.0 安装及使用 Mysql To Doris 整库同步,使用 pipepline连接器

cd flink-cdc-3.1.0

bin/flink-cdc.sh 会用到 linux的系统环境变量(vim /etc/profile配置),使用环境变量 FLINK_HOME

flinkcdc & flink 安装及使用:

1、flink-cdc-3.1.0/lib/ 内容如下:

2、flink-cdc-3.1.0/mysql-to-doris.yaml 文件配置如下:

复制代码
source:
  type: mysql
  hostname: 172.xxx.xxx.xxx
  port: 3306
  username: root
  password: xxxxx
  tables: sync_db.\.*
  server-id: 5400-5404
  server-time-zone: Asia/Shanghai

sink:
  type: doris
  fenodes: 172.xxx.xxx.xxx:8030
  username: root
  password: xxxxx
  table.create.properties.light_schema_change: true

pipeline:
  name: Sync MySQL Database to Doris
  parallelism: 2

3、启动 mysql-to-doris.yaml ,使用Pipeline Doris Connector:

root@test002 24-06-20 11:06:22 flink-cdc-3.1.0 # bash bin/flink-cdc.sh mysql-to-doris.yaml

4、查看 flinkcdc log:同步任务提交成功

root@test002 24-06-20 11:10:29 flink-cdc-3.1.0 # tail -f log/flink-cdc-cli-test002.log

flink web 8081端口查看job作业:

问题:flink lib 加入 mysql-connect-java.jar 否则flink任务会无法连接sink端,报错Exception

Failed to create Source Enumerator for source Source: Flink CDC Event Source: mysql java.lang.NoClassDefFoundError: com/mysql/cj/jdbc/Driver

解决:flink lib 安装完成后,引入 mysql-connect-java.jar ,配置如下

补充:查找 flink 路径下的 jar包是否包含该类

(base) root@test002 24-06-20 13:38:47 flink-cdc-3.1.0 # grep -r com.mysql.cj.jdbc.Driver *

匹配到二进制文件 lib/mysql-connector-java-8.0.27.jar

参考:MySQL 同步到 Doris | Apache Flink CDC

相关推荐
黑十4 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend5 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend5 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司6 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥7 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox9 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台11 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码12 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据12 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
wuyk5551 天前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎