flink cdc环境搭建

1.下载flink

复制代码
https://archive.apache.org/dist/flink/flink-1.12.2/

2.修改flink-conf.yaml

#根据自己电脑核数修改,这里我设置为4,因为系统分配了4核

jobmanager.rpc.address: localhost #主机名根据自己设定

taskmanager.numberOfTaskSlots: 4

3.下载flink-sql mysql cdc包

flink-sql-connector-mysql-cdc-1.2.0.jar

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/gradle-plugin/com/alibaba/ververica/flink-sql-connector-mysql-cdc/1.2.0/flink-sql-connector-mysql-cdc-1.2.0.jar?spm=a2c6h.24085988.0.0.101c3054iDT6s8&Expires=1690131054&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=PL4xE68opO%2FTfCwsFW4HdWzjrGw%3D

4.下载fink jdbc包

复制代码
https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc_2.11/1.12.2

5.下载flink changelog-json数据格式包

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/central/com/alibaba/ververica/flink-format-changelog-json/1.2.0/flink-format-changelog-json-1.2.0.jar?Expires=1690131326&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=WHN7OVw8yGIeREN%2Bgd1Na7EbpC8%3D

6.将以上下载的jar包,上传至lib目录下

6.启动集群以及client端

复制代码
#启动flink
bin/start-cluster.sh

#启动client
bin/sql-client.sh embedded

7.查看flink控制台

相关推荐
悟能不能悟26 分钟前
springboot全局异常
大数据·hive·spring boot
hans汉斯27 分钟前
嵌入式操作系统技术发展趋势
大数据·数据库·物联网·rust·云计算·嵌入式实时数据库·汉斯出版社
产品设计大观1 小时前
6个宠物APP原型设计案例拆解:含AI问诊、商城、领养、托运
大数据·人工智能·ai·宠物·墨刀·app原型·宠物app
liliangcsdn3 小时前
LLM MoE 形式化探索
大数据·人工智能
天远云服3 小时前
Go 语言高并发实战:批量清洗天远借贷行为验证API (JRZQ8203) 的时间序列数据
大数据·api
Hello.Reader3 小时前
Flink 系统内置函数(Built-in Functions)分类、典型用法与选型建议
大数据·flink·excel
AI营销实验室4 小时前
AI 工具何高质量的为销售线索打分?
大数据·人工智能
打码人的日常分享4 小时前
企业数据资产管控和数据治理解决方案
大数据·运维·网络·人工智能·云计算
数字冰雹5 小时前
从“东数西算”到智慧机房:数字孪生如何重塑数据中心的“智能大脑”?
大数据·人工智能·数据可视化
qq_348231855 小时前
市场快评 · 今日复盘要点20251224
大数据