flink cdc环境搭建

1.下载flink

复制代码
https://archive.apache.org/dist/flink/flink-1.12.2/

2.修改flink-conf.yaml

#根据自己电脑核数修改,这里我设置为4,因为系统分配了4核

jobmanager.rpc.address: localhost #主机名根据自己设定

taskmanager.numberOfTaskSlots: 4

3.下载flink-sql mysql cdc包

flink-sql-connector-mysql-cdc-1.2.0.jar

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/gradle-plugin/com/alibaba/ververica/flink-sql-connector-mysql-cdc/1.2.0/flink-sql-connector-mysql-cdc-1.2.0.jar?spm=a2c6h.24085988.0.0.101c3054iDT6s8&Expires=1690131054&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=PL4xE68opO%2FTfCwsFW4HdWzjrGw%3D

4.下载fink jdbc包

复制代码
https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc_2.11/1.12.2

5.下载flink changelog-json数据格式包

复制代码
https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/central/com/alibaba/ververica/flink-format-changelog-json/1.2.0/flink-format-changelog-json-1.2.0.jar?Expires=1690131326&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=WHN7OVw8yGIeREN%2Bgd1Na7EbpC8%3D

6.将以上下载的jar包,上传至lib目录下

6.启动集群以及client端

复制代码
#启动flink
bin/start-cluster.sh

#启动client
bin/sql-client.sh embedded

7.查看flink控制台

相关推荐
阿乔外贸日记3 小时前
2026尼日利亚五项清关政策更新,拉高能源装备进口综合成本
大数据·人工智能·搜索引擎·智能手机·云计算·能源
暴躁小师兄数据学院3 小时前
【AI大数据工程师特训笔记】第12讲:表分区与索引
大数据·笔记·sql·postgresql
侃谈科技圈3 小时前
破除数据中台落地困境:2026数据治理平台差异化能力与选型决策指南
大数据·人工智能
Elastic 中国社区官方博客4 小时前
Elasticsearch DiskBBQ:使用原生 SIMD Blocks 实现快 40% 的向量评分计算
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·diskbbq
暴躁小师兄数据学院5 小时前
【AI大数据工程师特训笔记】第16讲:大数据环境安装
大数据·hadoop·笔记·flink·spark·database
豆豆5 小时前
垂直行业门户网站搭建解决方案与落地实操指南
大数据·cms·pageadmin·自定义模型·垂直门户·行业建站·站群建设
Elastic 中国社区官方博客5 小时前
Kibana:使用 AI Chat 及 MCP 轻松创建 AI 原生仪表板
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·信息可视化
Thomas_YXQ6 小时前
Unity无GC读取图片与网格完整方案
大数据·人工智能·unity·微信·产品运营
阿里云大数据AI技术7 小时前
Skill即服务:用Agent安全玩转云上Flink
人工智能·flink
189228048617 小时前
NV023固态MT29F16T08GWLCEJ9-QBES:C
大数据·服务器·人工智能·科技·缓存