修炼k8s+flink+hdfs+dlink(七:flinkcdc)

一 :flinkcdc官网链接。

https://ververica.github.io/flink-cdc-connectors/release-2.1/content/about.html

二:在flink中添加jar包。

在flink lib目录下增加你所需要的包。

https://kdocs.cn/join/gv467qi?f=101

邀请你加入共享群「工作使用重要工具」一起进行文档协作

三:申请资源。

c 复制代码
cd /opt/app/flink/flink-1.13.6/bin
yarn-session.sh  -s 1 -jm 1024m -tm 1024m -nm test_cdc -d
yarn application -list

四:配置dlink。


五:编写代码。

c 复制代码
set execution.checkpointing.interval=30s;
set state.checkpoints.dir=hdfs://cluster/flink/mysql_es1;
set state.savepoints.dir=hdfs://cluster/flink/mysql_es1;



CREATE TABLE `mobile_device`( 
`id` int, 
`user_id` string, 
`app_id` string, 
`group_id` string, 
`app_version` string, 
`sdk_version` string, 
`mobile` string, 
`brand` string, 
`model_identifier` string, 
`model` string, 
`system` string, 
`device_id` string, 
`secret_key` string, 
`pkd` string, 
`access_token` string, 
`refresh_token`string, 
`iot_device_secret` string, 
`status` int, 
`expiration_timeout` timestamp, 
`login_type` int, 
`create_time` timestamp, 
`update_time` timestamp, 
PRIMARY KEY (id) NOT ENFORCED
) WITH (
 'connector' = 'mysql-cdc',
 'hostname' = 'xx.xx.xx.xx',
 'port' = '3306',
 'username' = 'xxxx',
 'password' = 'xxxxx',
 'database-name' = 'xx',
 'table-name' = 'xxxx'
);


select * from mobile_device;

注意:大小写会影响数据的读取。

六:查看具体的任务。



相关推荐
木圭的AI时代指南2 小时前
Spark-X2.5 长输入 Agent 实测:全量读取陷阱与解释器寻找死循环复盘,附可复现任务
大数据·分布式·spark
dongsdh3 小时前
部署python
大数据·elasticsearch·搜索引擎
QYR-分析3 小时前
重轨受电弓行业深度报告:市场格局、技术迭代与发展前景
大数据·数据库·人工智能
镜像视界(浙江)科技有限公司4 小时前
《视频孪生之上:二维展示终结,三维空间计算重构城市逻辑》——跨摄像连续表达 × 三角测量厘米级定位 × 动态轨迹建模,构建新一代城市空间
大数据·人工智能·算法·矩阵·音视频·空间计算
大大大大晴天4 小时前
每天认识一个组件:元数据平台 DataHub
大数据
m0_547486664 小时前
《大数据分析导论》全套PPT课件2026
大数据·大数据分析
starzy19905 小时前
Flink高级之CEP深度剖析:Pattern API、NFA引擎与风控实战
大数据·flink
星禾元亨7 小时前
生成式 AI 时代的架构演进与 GEO 优化:实体企业 AI 落地避坑指南
大数据·人工智能·架构·自动化·创业创新
IT毕设实战小研7 小时前
基于大数据的国内主要农作物产量趋势分析与可视化
android·java·大数据·django·课程设计
OFIRM碳基硅基8 小时前
西游金蝉劫 IP · 之 《金蝉子前传渡缘劫》电影 20 亿票房触发 · 项目专项扶持协议 总览 拉格朗日光影动画-西游金蝉劫项目组
大数据·人工智能·西游金蝉劫·蝎子精·蝎子精女妖王·金蝉子前传渡缘劫