使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
zhangkaixuan4568 小时前
Paimon 读取数据流程深度解析
大数据·hadoop·flink·apache·paimon
编程彩机11 小时前
互联网大厂Java面试:从Spring Security到微服务架构场景解析
kafka·spring security·微服务架构·jwt·java面试·分布式追踪
JZC_xiaozhong15 小时前
什么是ETL?一文了解提取、转换与加载
数据库·数据仓库·数据分析·etl·数据一致性·数据孤岛解决方案·数据集成与应用集成
麦兜和小可的舅舅15 小时前
ClickHouse Drop Table On Cluster 故障分析和原理解析
clickhouse·kafka
zhangkaixuan45616 小时前
paimon 主键表 vs 非主键表配置速查
大数据·数据库·flink·apache·paimon
小程故事多_8018 小时前
深度解析Kafka重平衡,触发机制、执行流程与副本的核心关联
分布式·kafka
【赫兹威客】浩哥20 小时前
【赫兹威客】伪分布式Kafka测试教程
分布式·kafka
Jackyzhe20 小时前
从零学习Kafka:集群架构和基本概念
学习·架构·kafka
亚林瓜子21 小时前
AWS中国云中的ETL之从Amazon Glue Data Catalog搬数据到MySQL(Glue版)
python·mysql·spark·etl·aws·glue·py
indexsunny1 天前
互联网大厂Java面试实战:Spring Boot微服务在电商场景中的应用
java·数据库·spring boot·redis·微服务·kafka·电商