Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
二十六画生的博客6 小时前
每个subtask都提交一份快照到hdfs,会把10个小的快照合并成一个大的吗?谁来合并?
大数据·hadoop·hdfs·flink
juniperhan6 小时前
Flink 系列第24篇:Flink SQL 集成维度表指南:存储选型、参数调优与实战避坑
大数据·数据仓库·sql·flink
Justice Young8 小时前
Flink第五章:DataStream API
大数据·flink
ErizJ9 小时前
Kafka | 学习笔记
笔记·学习·kafka
小江的记录本19 小时前
【Kafka核心】架构模型:Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica
java·数据库·分布式·后端·搜索引擎·架构·kafka
渣渣盟1 天前
Flink 流处理那些事儿:状态、时间与容错
大数据·flink
Justice Young1 天前
Flink测试题目及知识点整理(一)
大数据·flink
空中海1 天前
Kafka :存储、复制与可靠性
分布式·kafka·linq
渣渣盟1 天前
构建企业级实时数据管道:Kafka + Flink 最佳实践
分布式·flink·kafka
lifewange1 天前
Pycharm和IDEA中安装Cursor的方法
ide·pycharm·intellij-idea