使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
等一个人的@10 小时前
数睿通2.0更新:可视化ETL引擎重构与部署优化
数据仓库·重构·etl
あ-12 小时前
kafka broker迁移
kafka
海兰12 小时前
【 Kafka进阶5】使用 Docker 部署 Apache Kafka 集群完全指南
docker·kafka·apache
何升曜1 天前
Flink Slot 分配机制深度解析:从申请到部署的完整链路
flink
海兰2 天前
【Kafka进阶4】KRaft 完全指南:Apache Kafka 摆脱 ZooKeeper 的架构
zookeeper·kafka·apache
RestCloud2 天前
信创数据集成实践:某央企ETL全链路国产化迁移架构拆解
数据仓库·架构·数据安全·etl·etlcloud·数据传输·国产化替代
我变秃了也没变强2 天前
standalone模式部署flink集群
flink·apache
渣渣盟2 天前
Flink 流式写入文件终极指南:从 Row Format 到 Bucket 分区的深度剖析
大数据·flink
海兰2 天前
【 Kafka进阶3】Apache Kafka 分布式事件流平台:架构原理与微服务解耦机制简要分析
分布式·架构·kafka
小白一枚133 天前
[学习笔记]Kafka 篇:从原理到实战的一站式指南
大数据·运维·elk·kafka·个人开发