使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
正在努力Coding2 小时前
kafka(windows)
分布式·kafka
Doker 多克7 小时前
Flink CDC —部署模式
大数据·flink
RestCloud7 小时前
如何通过ETLCloud实现跨系统数据同步?
数据库·数据仓库·mysql·etl·数据处理·数据同步·集成平台
酷爱码7 小时前
Spring Boot 整合 Apache Flink 的详细过程
spring boot·flink·apache
问道飞鱼7 小时前
Flink 高可用集群部署指南
flink·部署·批处理·流式批处理
库森学长11 小时前
Kafka为什么这么快?
后端·面试·kafka
线条114 小时前
大数据 ETL 工具 Sqoop 深度解析与实战指南
大数据·sqoop·etl
渣渣盟1 天前
基于Scala实现Flink的三种基本时间窗口操作
开发语言·flink·scala
网安INF1 天前
CVE-2020-17519源码分析与漏洞复现(Flink 任意文件读取)
java·web安全·网络安全·flink·漏洞
一叶知秋哈1 天前
Java应用Flink CDC监听MySQL数据变动内容输出到控制台
java·mysql·flink