修炼k8s+flink+hdfs+dlink(七:flinkcdc)

一 :flinkcdc官网链接。

https://ververica.github.io/flink-cdc-connectors/release-2.1/content/about.html

二:在flink中添加jar包。

在flink lib目录下增加你所需要的包。

https://kdocs.cn/join/gv467qi?f=101

邀请你加入共享群「工作使用重要工具」一起进行文档协作

三:申请资源。

c 复制代码
cd /opt/app/flink/flink-1.13.6/bin
yarn-session.sh  -s 1 -jm 1024m -tm 1024m -nm test_cdc -d
yarn application -list

四:配置dlink。


五:编写代码。

c 复制代码
set execution.checkpointing.interval=30s;
set state.checkpoints.dir=hdfs://cluster/flink/mysql_es1;
set state.savepoints.dir=hdfs://cluster/flink/mysql_es1;



CREATE TABLE `mobile_device`( 
`id` int, 
`user_id` string, 
`app_id` string, 
`group_id` string, 
`app_version` string, 
`sdk_version` string, 
`mobile` string, 
`brand` string, 
`model_identifier` string, 
`model` string, 
`system` string, 
`device_id` string, 
`secret_key` string, 
`pkd` string, 
`access_token` string, 
`refresh_token`string, 
`iot_device_secret` string, 
`status` int, 
`expiration_timeout` timestamp, 
`login_type` int, 
`create_time` timestamp, 
`update_time` timestamp, 
PRIMARY KEY (id) NOT ENFORCED
) WITH (
 'connector' = 'mysql-cdc',
 'hostname' = 'xx.xx.xx.xx',
 'port' = '3306',
 'username' = 'xxxx',
 'password' = 'xxxxx',
 'database-name' = 'xx',
 'table-name' = 'xxxx'
);


select * from mobile_device;

注意:大小写会影响数据的读取。

六:查看具体的任务。



相关推荐
还是大剑师兰特26 分钟前
Flink面试题及详细答案100道(61-80)- 时间与窗口
flink·大剑师·flink面试题
周杰伦_Jay1 小时前
【Git操作详解】Git进行版本控制与管理,包括分支,提交,合并,标签、远程仓库查看
大数据·ide·git·科技·分类·github
lifallen2 小时前
从Apache Doris 学习 HyperLogLog
java·大数据·数据仓库·算法·apache
DolphinScheduler社区3 小时前
# 3.1.8<3.2.0<3.3.1,Apache DolphinScheduler集群升级避坑指南
java·大数据·开源·apache·任务调度·海豚调度
智海观潮4 小时前
HBase高级特性、rowkey设计以及热点问题处理
大数据·hadoop·hbase
zskj_qcxjqr4 小时前
七彩喜理疗艾灸机器人:传统中医与现代科技的融合创新
大数据·人工智能·科技·机器人
AutoMQ4 小时前
活动回顾 | AutoMQ 新加坡 TOKEN2049:展示高效 Web3 数据流基础设施
大数据·web3
龙山云仓5 小时前
迈向生成式软件制造新纪元:行动纲领与集结号
大数据·人工智能·机器学习·区块链·制造
武子康6 小时前
大数据-121 - Flink 时间语义详解:EventTime、ProcessingTime、IngestionTime 与 Watermark机制全解析
大数据·后端·flink
dessler6 小时前
Elasticsearch(ES)简介与入门
linux·运维·hdfs