修炼k8s+flink+hdfs+dlink(七:flinkcdc)

一 :flinkcdc官网链接。

https://ververica.github.io/flink-cdc-connectors/release-2.1/content/about.html

二:在flink中添加jar包。

在flink lib目录下增加你所需要的包。

https://kdocs.cn/join/gv467qi?f=101

邀请你加入共享群「工作使用重要工具」一起进行文档协作

三:申请资源。

c 复制代码
cd /opt/app/flink/flink-1.13.6/bin
yarn-session.sh  -s 1 -jm 1024m -tm 1024m -nm test_cdc -d
yarn application -list

四:配置dlink。


五:编写代码。

c 复制代码
set execution.checkpointing.interval=30s;
set state.checkpoints.dir=hdfs://cluster/flink/mysql_es1;
set state.savepoints.dir=hdfs://cluster/flink/mysql_es1;



CREATE TABLE `mobile_device`( 
`id` int, 
`user_id` string, 
`app_id` string, 
`group_id` string, 
`app_version` string, 
`sdk_version` string, 
`mobile` string, 
`brand` string, 
`model_identifier` string, 
`model` string, 
`system` string, 
`device_id` string, 
`secret_key` string, 
`pkd` string, 
`access_token` string, 
`refresh_token`string, 
`iot_device_secret` string, 
`status` int, 
`expiration_timeout` timestamp, 
`login_type` int, 
`create_time` timestamp, 
`update_time` timestamp, 
PRIMARY KEY (id) NOT ENFORCED
) WITH (
 'connector' = 'mysql-cdc',
 'hostname' = 'xx.xx.xx.xx',
 'port' = '3306',
 'username' = 'xxxx',
 'password' = 'xxxxx',
 'database-name' = 'xx',
 'table-name' = 'xxxx'
);


select * from mobile_device;

注意:大小写会影响数据的读取。

六:查看具体的任务。



相关推荐
沐霜枫叶11 分钟前
解决Elasticsearch高亮显示被横线截断的问题
大数据·elasticsearch·jenkins
数据运营新视界6 小时前
可编辑115页PPT | 某纸制品制造企业数字化转型战略规划项目建议书
大数据·数据分析
点云SLAM9 小时前
git使用详解和实战示例
大数据·git·elasticsearch·项目管理·开发工具·代码管理‘’
stjiejieto9 小时前
教育 AI 的下半场:个性化学习路径生成背后,技术如何平衡效率与教育本质?
大数据·人工智能·学习
TDengine (老段)10 小时前
TDengine 日期时间函数 DAYOFWEEK 使用手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
智海观潮12 小时前
Spark和Spring整合处理离线数据
大数据·spring·spark
阿里云大数据AI技术14 小时前
阿里云大数据AI平台登顶 NL2SQL 权威榜单 Spider 2.0
大数据·人工智能·阿里云
小蒜学长14 小时前
基于Hadoop的可视化城市宜居指数分析(代码+数据库+LW)
java·大数据·数据库·hadoop·spring boot·后端
赵渝强老师15 小时前
【赵渝强老师】阿里云大数据MaxCompute的体系架构
大数据·阿里云·maxcompute·odps
计算机毕业设计木哥15 小时前
计算机毕设选题:基于Python+Django的健康饮食管理系统设计【源码+文档+调试】
大数据·开发语言·python·数据分析·spark·django·课程设计