Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
itLaity6 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
Kiri霧7 小时前
IntelliJ IDEA
java·ide·kotlin·intellij-idea
IT邦德16 小时前
OGG同步Oracle到Kafka不停库,全量加增量
数据库·oracle·kafka
菠萝催学12316 小时前
日志配置Slf4j
java·数据库·spring·tomcat·maven·intellij-idea
我有一只肥螳螂17 小时前
idea监控本地堆栈
java·ide·intellij-idea
黄雪超1 天前
Kafka——多线程开发消费者实例
大数据·分布式·kafka
张乔241 天前
mybatisX的自定义模板生成
java·ide·intellij-idea
武子康2 天前
大数据-52 Kafka 架构全解析:高吞吐、高可用分布式消息系统的核心奥秘
大数据·后端·kafka
花下的晚风2 天前
如何搭建Linux环境下的flink本地集群
linux·flink
悟能不能悟2 天前
在 IntelliJ IDEA 中打开这个用于设置 Git 用户名(Name)和邮箱(Email)的特定弹窗
java·git·intellij-idea