Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
HAPPY酷3 小时前
Kafka 和Redis 在系统架构中的位置
redis·kafka·系统架构
忆雾屿4 小时前
云原生时代 Kafka 深度实践:06原理剖析与源码解读
java·后端·云原生·kafka
TCChzp6 小时前
Kafka入门-消费者
分布式·kafka
Apache Flink6 小时前
Flink在B站的大规模云原生实践
大数据·云原生·flink
lifallen9 小时前
Flink checkpoint
java·大数据·算法·flink
杰哥技术分享10 小时前
IDEA 打开文件乱码
java·ide·intellij-idea
猫头虎10 小时前
[特殊字符]解决 “IDEA 登录失败。不支持早于 14.0 的 GitLab 版本” 问题的几种方法
java·ide·网络协议·http·https·gitlab·intellij-idea
Dnui_King12 小时前
Kafka 入门指南与一键部署
分布式·kafka
TCChzp14 小时前
Kafka入门-生产者
分布式·kafka
长河15 小时前
Flink 重启后事件被重复消费的原因与解决方案
大数据·flink