使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
Bohemian13 小时前
kafka学习笔记系列——小试牛刀
面试·kafka
左灯右行的爱情13 小时前
Kafka专辑- 整体架构
分布式·架构·kafka
左灯右行的爱情16 小时前
Kafka专辑 : 生产者写入路径
分布式·kafka·linq
左灯右行的爱情17 小时前
Kafka专辑: 日志存储模型
分布式·kafka·linq
LB211217 小时前
Kafka笔记
分布式·kafka·linq
zgl_200537791 天前
ZGLanguage 解析SQL数据血缘 之 提取select语句中的源表名
大数据·数据库·c++·数据仓库·sql·数据库开发·etl
左灯右行的爱情2 天前
Kafka专辑- 消息队列是什么
分布式·kafka
yumgpkpm2 天前
银行的数据智能平台和Cloudera CDP 7.3(CMP 7.3)的技术对接
数据库·人工智能·hive·hadoop·elasticsearch·数据挖掘·kafka
Hello.Reader2 天前
Flink JDBC Driver把 Flink SQL Gateway 变成“数据库”,让 BI / 工具 / 应用直接用 JDBC 跑 Flink SQL
数据库·sql·flink
Hello.Reader2 天前
Flink Catalogs 元数据统一入口、JDBC/Hive/自定义 Catalog、Time Travel、Catalog Store 与监听器
大数据·hive·flink