Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
shepherd1115 分钟前
Kafka生产环境实战经验深度总结,让你少走弯路
后端·面试·kafka
anqi2713 分钟前
如何在 IntelliJ IDEA 中编写 Speak 程序
java·大数据·开发语言·spark·intellij-idea
胡斌附体1 小时前
idea启动springboot方式及web调用
java·spring boot·intellij-idea
晴天彩虹雨3 小时前
Flink 消费 Kafka 数据流的最佳实践
数据仓库·flink·kafka·linq
24k小善4 小时前
FlinkJobmanager深度解析
java·大数据·flink·云计算
和算法死磕到底4 小时前
ubantu18.04(Hadoop3.1.3)之Flink安装与编程实践(Flink1.9.1)
大数据·flink
漂流瓶6666665 小时前
如何在idea中写spark程序
java·spark·intellij-idea
FLLdsj7 小时前
如何在idea中写spark程序
java·学习·spark·intellij-idea
666HZ66621 小时前
关于IDEA的循环依赖问题
java·ide·intellij-idea