使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为:在实际开发操作中,你的kafka主题中会有大量的数据但是需求并不需要所有数据,所有我们要对数据进行清洗,把需要的数据保存在flink流中,为下流的开发做好数据保障!

首先创建工具类

再写一个抽象类,测试阶段可以把状态后端和检查点给注释掉,可以提高效率

再写一个主程序继承抽象类中的方法,并在程序中对数据进行etl

相关推荐
linux修理工2 小时前
使用codebuddy学习kafka
分布式·学习·kafka
开开心心就好5 小时前
解决截图被拦截黑屏问题的免费小工具
安全·智能手机·flink·kafka·pdf·音视频·1024程序员节
linux修理工8 小时前
kafka积压
数据库·分布式·kafka
杰克逊的日记9 小时前
kafka消息堆积了怎么处理
大数据·分布式·kafka
linux修理工9 小时前
使用codebuddy调优kafka等
分布式·kafka
functionflux1 天前
kafka-python:Python 生态中最成熟的 Kafka 客户端
分布式·python·其他·kafka
暴躁小师兄数据学院1 天前
【AI大数据工程师特训笔记】第15讲:大数据环境安装
大数据·hadoop·flink·spark
抛砖者1 天前
flink打包方式问题
大数据·flink
q21030633721 天前
kafka启动几秒后挂了,重启多次无果
分布式·kafka
abcy0712131 天前
在Python 中使用Celery和Kafka进行消息队列的生产者和消费者实现
python·kafka