使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
milanyangbo1 小时前
从硬盘I/O到网络传输:Kafka与RocketMQ读写模型及零拷贝技术深度对比
java·网络·分布式·架构·kafka·rocketmq
GEM的左耳返1 小时前
Java面试实战:从Spring Boot到AI集成的技术深度挑战
spring boot·redis·微服务·kafka·java面试·spring ai·缓存优化
写bug的小屁孩1 小时前
主流消息队列(MQ)和技术选型
kafka·java-rocketmq·java-rabbitmq
java1234_小锋2 小时前
Kafka与RabbitMQ相比有什么优势?
分布式·kafka·rabbitmq
yumgpkpm2 小时前
腾讯TBDS和CMP(Cloud Data AI Platform,类Cloudera CDP,如华为鲲鹏 ARM 版)比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·oracle·kafka·hbase
梦里不知身是客113 小时前
flink运行的一个报错
大数据·flink
码农很忙4 小时前
如何选择合适的 Diskless Kafka
分布式·kafka
北京聚信万通科技有限公司4 小时前
易连EDI-EasyLink无缝集成之消息队列Kafka
kafka·edi·国产自研·easylink
java1234_小锋4 小时前
Kafka中的消费者偏移量是如何管理的?
分布式·kafka
笨蛋少年派4 小时前
Kafka分布式流处理平台简介
分布式·kafka