flink cdc环境搭建

1.下载flink

复制代码
https://archive.apache.org/dist/flink/flink-1.12.2/

2.修改flink-conf.yaml

#根据自己电脑核数修改,这里我设置为4,因为系统分配了4核

jobmanager.rpc.address: localhost #主机名根据自己设定

taskmanager.numberOfTaskSlots: 4

3.下载flink-sql mysql cdc包

flink-sql-connector-mysql-cdc-1.2.0.jar

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/gradle-plugin/com/alibaba/ververica/flink-sql-connector-mysql-cdc/1.2.0/flink-sql-connector-mysql-cdc-1.2.0.jar?spm=a2c6h.24085988.0.0.101c3054iDT6s8&Expires=1690131054&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=PL4xE68opO%2FTfCwsFW4HdWzjrGw%3D

4.下载fink jdbc包

复制代码
https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc_2.11/1.12.2

5.下载flink changelog-json数据格式包

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/central/com/alibaba/ververica/flink-format-changelog-json/1.2.0/flink-format-changelog-json-1.2.0.jar?Expires=1690131326&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=WHN7OVw8yGIeREN%2Bgd1Na7EbpC8%3D

6.将以上下载的jar包,上传至lib目录下

6.启动集群以及client端

复制代码
#启动flink
bin/start-cluster.sh

#启动client
bin/sql-client.sh embedded

7.查看flink控制台

相关推荐
IT研究所9 分钟前
信创浪潮下 ITSM 的价值重构与实践赋能
大数据·运维·人工智能·安全·低代码·重构·自动化
AI职业加油站9 分钟前
Python技术应用工程师:互联网行业技能赋能者
大数据·开发语言·人工智能·python·数据分析
深蓝海域知识库17 分钟前
深蓝海域中标大型机电企业大模型知识工程平台项目
大数据·人工智能
Gain_chance17 分钟前
32-学习笔记尚硅谷数仓搭建-DWD层首日数据装载脚本及每日数据装载脚本
大数据·数据仓库·hive·笔记·学习
sheji341620 分钟前
【开题答辩全过程】以 基于hadoop的空气质量数据分析及可视化系统为例,包含答辩的问题和答案
大数据·hadoop·数据分析
CDA数据分析师干货分享27 分钟前
【干货】CDA一级知识点拆解3:《CDA一级商业数据分析》第3章 商业数据分析框架
大数据·人工智能·数据挖掘·数据分析·cda证书·cda数据分析师
紫郢剑侠29 分钟前
【C语言编程gcc@Kylin | 麒麟 】 1:实现Hello world程序
大数据·kylin
北京地铁1号线32 分钟前
4.2 幻觉抑制策略
大数据·人工智能·深度学习·大语言模型
跨境卫士—小依35 分钟前
跨境电商营销策略
大数据·人工智能·跨境电商·营销策略
Guheyunyi40 分钟前
电气安全管理系统:筑牢现代用电安全的智能防线
大数据·人工智能·科技·安全·架构·能源