使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
Kobebryant-Manba12 分钟前
kafka基本概念
分布式·学习·kafka
dzend4 小时前
Kafka、RocketMQ、RabbitMQ 对比
kafka·rabbitmq·rocketmq
李昊哲小课5 小时前
deepin 安装 kafka
大数据·分布式·zookeeper·数据分析·kafka
Kobebryant-Manba5 小时前
zookeeper+kafka的windows下安装
分布式·zookeeper·kafka
core5129 小时前
flink sink doris
大数据·mysql·flink·doris·存储·sink·过程正常
lucky_syq14 小时前
Flume和Kafka的区别?
大数据·kafka·flume
观测云14 小时前
Confluent Cloud Kafka 可观测性最佳实践
kafka·confluent
攻心的子乐14 小时前
Kafka可视化工具 Offset Explorer (以前叫Kafka Tool)
分布式·kafka
漫无目的行走的月亮17 小时前
Ubuntu下C语言操作kafka示例
kafka·librdkafka
yukai0800820 小时前
【最后203篇系列】002 - 两个小坑(容器时间错误和kafka模块报错
分布式·kafka