flink cdc环境搭建

1.下载flink

https://archive.apache.org/dist/flink/flink-1.12.2/

2.修改flink-conf.yaml

#根据自己电脑核数修改,这里我设置为4,因为系统分配了4核

jobmanager.rpc.address: localhost #主机名根据自己设定

taskmanager.numberOfTaskSlots: 4

3.下载flink-sql mysql cdc包

flink-sql-connector-mysql-cdc-1.2.0.jar

https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/gradle-plugin/com/alibaba/ververica/flink-sql-connector-mysql-cdc/1.2.0/flink-sql-connector-mysql-cdc-1.2.0.jar?spm=a2c6h.24085988.0.0.101c3054iDT6s8&Expires=1690131054&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=PL4xE68opO%2FTfCwsFW4HdWzjrGw%3D

4.下载fink jdbc包

https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc_2.11/1.12.2

5.下载flink changelog-json数据格式包

https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/central/com/alibaba/ververica/flink-format-changelog-json/1.2.0/flink-format-changelog-json-1.2.0.jar?Expires=1690131326&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=WHN7OVw8yGIeREN%2Bgd1Na7EbpC8%3D

6.将以上下载的jar包,上传至lib目录下

6.启动集群以及client端

#启动flink
bin/start-cluster.sh

#启动client
bin/sql-client.sh embedded

7.查看flink控制台

相关推荐
szxinmai主板定制专家1 小时前
【国产NI替代】基于FPGA的32通道(24bits)高精度终端采集核心板卡
大数据·人工智能·fpga开发
TGB-Earnest3 小时前
【py脚本+logstash+es实现自动化检测工具】
大数据·elasticsearch·自动化
大圣数据星球5 小时前
Fluss 写入数据湖实战
大数据·设计模式·flink
suweijie7685 小时前
SpringCloudAlibaba | Sentinel从基础到进阶
java·大数据·sentinel
Data跳动10 小时前
Spark内存都消耗在哪里了?
大数据·分布式·spark
woshiabc11111 小时前
windows安装Elasticsearch及增删改查操作
大数据·elasticsearch·搜索引擎
lucky_syq12 小时前
Saprk和Flink的区别
大数据·flink
lucky_syq12 小时前
流式处理,为什么Flink比Spark Streaming好?
大数据·flink·spark
袋鼠云数栈12 小时前
深入浅出Flink CEP丨如何通过Flink SQL作业动态更新Flink CEP作业
大数据