使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
Cxzzzzzzzzzz9 小时前
Kafka Go客户端--Sarama
中间件·golang·kafka·linq
信徒_10 小时前
Kafka topic 中的 partition 数据倾斜问题
分布式·kafka
Paraverse_徐志斌11 小时前
Kafka 如何保证消息顺序性
分布式·中间件·kafka·消息队列
杨不易呀11 小时前
Java面试全记录:Spring Cloud+Kafka+Redis实战解析
redis·spring cloud·微服务·kafka·高并发·java面试·面试技巧
RestCloud12 小时前
ETL 数据集成平台与数据仓库的关系及 ETL 工具推荐
数据仓库·etl·cdc·数据集成平台
bigdata_zh20 小时前
flinksql实践(从kafka读数据)
kafka·flinksql
愿你天黑有灯下雨有伞1 天前
Spring Boot整合Kafka实战指南:从环境搭建到消息处理全解析
spring boot·kafka·linq
小马爱打代码1 天前
面试题 - Kafka、RabbitMQ、RocketMQ如何选型?
kafka·rabbitmq·rocketmq
Bruk.Liu1 天前
Kafka、RabbitMQ 和 RocketMQ区别及上手难度
kafka·rabbitmq·rocketmq