flink cdc环境搭建

1.下载flink

复制代码
https://archive.apache.org/dist/flink/flink-1.12.2/

2.修改flink-conf.yaml

#根据自己电脑核数修改,这里我设置为4,因为系统分配了4核

jobmanager.rpc.address: localhost #主机名根据自己设定

taskmanager.numberOfTaskSlots: 4

3.下载flink-sql mysql cdc包

flink-sql-connector-mysql-cdc-1.2.0.jar

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/gradle-plugin/com/alibaba/ververica/flink-sql-connector-mysql-cdc/1.2.0/flink-sql-connector-mysql-cdc-1.2.0.jar?spm=a2c6h.24085988.0.0.101c3054iDT6s8&Expires=1690131054&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=PL4xE68opO%2FTfCwsFW4HdWzjrGw%3D

4.下载fink jdbc包

复制代码
https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc_2.11/1.12.2

5.下载flink changelog-json数据格式包

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/central/com/alibaba/ververica/flink-format-changelog-json/1.2.0/flink-format-changelog-json-1.2.0.jar?Expires=1690131326&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=WHN7OVw8yGIeREN%2Bgd1Na7EbpC8%3D

6.将以上下载的jar包,上传至lib目录下

6.启动集群以及client端

复制代码
#启动flink
bin/start-cluster.sh

#启动client
bin/sql-client.sh embedded

7.查看flink控制台

相关推荐
Yusei_05231 小时前
迅速掌握Git通用指令
大数据·git·elasticsearch
一只栖枝8 小时前
华为 HCIE 大数据认证中 Linux 命令行的运用及价值
大数据·linux·运维·华为·华为认证·hcie·it
喂完待续12 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
青云交12 小时前
Java 大视界 -- 基于 Java 的大数据可视化在城市交通拥堵治理与出行效率提升中的应用(398)
java·大数据·flink·大数据可视化·拥堵预测·城市交通治理·实时热力图
还是大剑师兰特18 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
sleetdream20 小时前
Flink Sql 按分钟或日期统计数据量
sql·flink
1892280486121 小时前
NY243NY253美光固态闪存NY257NY260
大数据·网络·人工智能·缓存
武子康1 天前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
CCF_NOI.1 天前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变
杨荧1 天前
基于Python的电影评论数据分析系统 Python+Django+Vue.js
大数据·前端·vue.js·python