Dinky教程--Flink CDC pipline整库同步Doris

概述

Dinky 是一个基于 Apache Flink 的实时计算平台,它提供了一站式的 Flink 任务开发、运维、监控等功能。

本教程一步一步的教你如何使用dinky运行CDC pipline任务实现整库同步Doris并自动建表功能。Starrocks同理

原文阅读:【巨人肩膀社区·专栏·分享】Dinky教程--Flink CDC pipline整库同步Doris

项目地址:https://github.com/DataLinkDC/dinky

如果觉得项目不错欢迎前去点下 Star, 感谢您的支持!

前置条件

  1. 已部署好的Dinky
  2. 准备好Flink集群

如果还没有准备好dinky与flink集群,可以参考我以前的文章或官网进行部署

快速部署Doris与Mysql测试环境

Flink CDC为我们提供了可快速部署的docker-compose yaml文件,我们可以很方便的创建一个测试环境出来

如果你mysql与Doris环境都已经具备,那么可以跳过此章节

yaml 复制代码

复制代码
version: '2.1'
services:
  doris:
    image: yagagagaga/doris-standalone
    ports:
      - "8030:8030"
      - "8040:8040"
      - "9030:9030"
  mysql:
    image: debezium/example-mysql:1.1
    ports:
      - "3306:3306"
    environment:
      - MYSQL_ROOT_PASSWORD=123456
      - MYSQL_USER=mysqluser
      - MYSQL_PASSWORD=mysqlpw

在 docker-compose.yml 所在目录下执行下面的命令来启动本教程需要的组件:

bash 复制代码

复制代码
docker-compose up -d

该命令将以 detached 模式自动启动 Docker Compose 配置中定义的所有容器。你可以通过 docker ps 来观察上述的容器是否正常启动了,也可以通过访问http://localhost:8030/ 来查看 Doris 是否运行正常。

准备数据

进入 MySQL 容器

bash 复制代码

复制代码
docker-compose exec mysql mysql -uroot -p123456

创建数据库 app_db 和表 orders,products,shipments,并插入数据

sql 复制代码

复制代码

Doris 暂时不支持自动创建数据库,需要先创建写入表对应的数据库。

进入 Doris Web UI。
http://localhost:8030/

默认的用户名为 root,默认密码为空。

通过 Web UI 创建 app_db 数据库

sql 复制代码

复制代码
create database app_db;

image.png

下载CDC相关依赖

flink-cdc-3.1.0-bin.tar.gz
MySQL pipeline connector 3.1.0
Apache Doris pipeline connector 3.1.0

上述依赖下载完成后,把flink-cdc-pipeline-connector-doris-3.1.0.jarflink-cdc-pipeline-connector-mysql-3.1.0.jar 放到dinky的依赖目录下(dinky/extends 或者 docker部署的customJar下面)

解决CDC依赖冲突问题

如果直接在dinky使用flink-cdc-dist-3.1.0.jar 会有java.lang.NoSuchMethodError: org.apache.calcite.tools.FrameworkConfig.getTraitDefs()Lorg/apache/flink/calcite/shaded/com/google/common/collect/ImmutableList;错误,所以我们需要先处理一下

sh 复制代码

复制代码
# 解压 flink-cdc-3.1.0-bin.tar.gz
tar -zxvf flink-cdc-3.1.0-bin.tar.gz       
cd flink-cdc-3.1.0/lib/
# 解压jar文件·
jar -xvf flink-cdc-dist-3.1.0.jar
# 删除冲突包
rm -rf org/apache/calcite
# 重新打包
jar -cvf  flink-cdc-dist-3.1.0-new.jar * 

把新打包的flink-cdc-dist-3.1.0-new.jar文件放到dinky依赖目录下,重启dinky

开始运行

打开dinky页面,新建Flink Sql任务,输入以下代码,注意把相关IP替换成你自己的

Flink集群需要自己提前注册好,选择对应集群

sql 复制代码

复制代码
SET 'execution.checkpointing.interval' = '30s';
EXECUTE PIPELINE WITHYAML (
source:
  type: mysql
  hostname: localhost
  port: 3306
  username: root
  password: '123456'
  tables: app_db.\.*
  server-id: 5400-5404

sink:
  type: doris
  fenodes: localhost:8030
  username: root
  password: ''
  table.create.properties.light_schema_change: true
  table.create.properties.replication_num: 1
pipeline:
  name: Sync MySQL Database to Doris
  parallelism: 1
)

image.png

运行并验证

点击运行提交到Flink集群运行

前往运维中心查询任务状态,可以看到正常起来了

去Doris验证数据,可以看到表已经自动建好了,数据也同步过来了

相关推荐
青云交37 分钟前
Java 大视界 -- 基于 Java 的大数据机器学习模型在图像识别中的迁移学习与模型优化(173)
大数据·迁移学习·图像识别·模型优化·deeplearning4j·机器学习模型·java 大数据
Yan-英杰2 小时前
DeepSeek-R1模型现已登录亚马逊云科技
java·大数据·人工智能·科技·机器学习·云计算·deepseek
黄雪超2 小时前
Flink介绍——实时计算核心论文之Storm论文总结
大数据·论文阅读·storm
TDengine (老段)2 小时前
TDengine 中的日志系统
java·大数据·数据库·物联网·时序数据库·tdengine·iotdb
蒋星熠4 小时前
在VMware下Hadoop分布式集群环境的配置--基于Yarn模式的一个Master节点、两个Slaver(Worker)节点的配置
大数据·linux·hadoop·分布式·ubuntu·docker
SelectDB技术团队5 小时前
Apache Doris 2.1.9 版本正式发布
大数据·数据仓库·数据分析·doris·数据湖·湖仓一体·日志数据
gegeyanxin6 小时前
flink异步读写外部数据源
大数据·flink·异步io·访问外部数据
说私域7 小时前
定制开发开源AI智能名片S2B2C商城小程序:技术赋能商业价值实现路径研究
大数据·人工智能·小程序·开源
Elastic 中国社区官方博客7 小时前
Elasticsearch:使用机器学习生成筛选器和分类标签
大数据·人工智能·elasticsearch·机器学习·搜索引擎·ai·分类
zhangjin12227 小时前
kettle插件-postgresql插件
大数据·postgresql·etl·kettle cdc·kettle插件·kettle实时数据同步