MySQL到Doris的StreamingETL实现(Flink CDC 3.0)

1 环境准备

1)安装FlinkCDC

shell 复制代码
[root@hadoop1 software]$ tar -zxvf flink-cdc-3.0.0-bin.tar.gz -C /opt/module/

2)拖入MySQL以及Doris依赖包

将flink-cdc-pipeline-connector-doris-3.0.0.jar以及flink-cdc-pipeline-connector-mysql-3.0.0.jar防止在FlinkCDC的lib目录下

2 同步变更

2)编写MySQL到Doris的同步变更配置文件

在FlinkCDC目录下创建job文件夹,并在该目录下创建同步变更配置文件

shell 复制代码
[root@hadoop1 flink-cdc-3.0.0]$ mkdir job/

[root@hadoop1 flink-cdc-3.0.0]$ cd job

[root@hadoop1 job]$ vim mysql-to-doris.yaml

 

source:

 type: mysql

 hostname: hadoop3

 port: 3306

 username: root

 password: "123456"

 tables: test.\.

 server-id: 5400-5404

 server-time-zone: UTC+8

 

sink:

 type: doris

 fenodes: hadoop1:7030

 username: root

 password: "123456"

 table.create.properties.light_schema_change: true

 table.create.properties.replication_num: 1

 

pipeline:

 name: Sync MySQL Database to Doris

 parallelism: 1

3)启动任务并测试

(1)开启Flink集群,注意:在Flink配置信息中打开CheckPoint

shell 复制代码
[root@hadoop3 flink-1.18.0]$ vim conf/flink-conf.yaml

添加如下配置信息

shell 复制代码
execution.checkpointing.interval: 5000

分发该文件至其他Flink机器并启动Flink集群

shell 复制代码
[root@hadoop3 flink-1.18.0]$ bin/start-cluster.sh

(2)开启Doris FE

shell 复制代码
[root@hadoop1 fe]$ bin/start_fe.sh

(3)开启Doris BE

shell 复制代码
[root@hadoop1 be]$ bin/start_be.sh

(4)在Doris中创建test数据库

shell 复制代码
[root@hadoop3 doris]$ mysql -uroot -p123456 -P9030 -hhadoop1

mysql: [Warning] Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor.  Commands end with ; or g.

Your MySQL connection id is 0

Server version: 5.7.99 Doris version doris-1.2.4-1-Unknown

 

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

 

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

 

Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.

 

mysql> create database test;

Query OK, 1 row affected (0.00 sec)

 

mysql> create database doris_test_route;

Query OK, 1 row affected (0.00 sec)

(5)启动FlinkCDC同步变更任务

shell 复制代码
[root@hadoop3 flink-cdc-3.0.0]$ bin/flink-cdc.sh job/mysql-to-doris.yaml

(6)刷新Doris中test数据库观察结果

(7)在MySQL的test数据中对应的几张表进行新增、修改数据以及新增列操作,并刷新Doris中test数据库观察结果

3 路由变更

1)编写MySQL到Doris的路由变更配置文件

shell 复制代码
source:

 type: mysql

 hostname: hadoop3

 port: 3306

 username: root

 password: "123456"

 tables: test_route.\.

 server-id: 5400-5404

 server-time-zone: UTC+8

 

sink:

 type: doris

 fenodes: hadoop1:7030

 benodes: hadoop1:7040

 username: root

 password: "123456"

 table.create.properties.light_schema_change: true

 table.create.properties.replication_num: 1

 

route:

 - source-table: test_route.t1

  sink-table: doris_test_route.doris_t1

 - source-table: test_route.t2

  sink-table: doris_test_route.doris_t1

 - source-table: test_route.t3

  sink-table: doris_test_route.doris_t3

 

pipeline:

 name: Sync MySQL Database to Doris

 parallelism: 1

2)启动任务并测试

she 复制代码
[root@hadoop3 flink-cdc-3.0.0]$ bin/flink-cdc.sh job/mysql-to-doris-route.yaml

3)刷新Doris中test_route数据库观察结果

4)在MySQL的test_route数据中对应的几张表进行新增、修改数据操作,并刷新Doris中doris_test_route数据库观察结果

相关推荐
大数据编程之光10 分钟前
Flink Standalone集群模式安装部署全攻略
java·大数据·开发语言·面试·flink
B站计算机毕业设计超人12 分钟前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
在下不上天2 小时前
Flume日志采集系统的部署,实现flume负载均衡,flume故障恢复
大数据·开发语言·python
智慧化智能化数字化方案2 小时前
华为IPD流程管理体系L1至L5最佳实践-解读
大数据·华为
PersistJiao3 小时前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
2301_811274314 小时前
大数据基于Spring Boot的化妆品推荐系统的设计与实现
大数据·spring boot·后端
Yz98764 小时前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
青云交4 小时前
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
武子康4 小时前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs