Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
qingcyb2 小时前
下载Kafka 3.0.0教程
分布式·kafka
JermeryBesian6 小时前
Flink系列知识之:Checkpoint原理
大数据·flink
huisheng_qaq6 小时前
【kafka-03】springboot整合kafka以及核心参数详解
spring boot·kafka·消息队列·topic·partition·kafka底层原理
晚枫20007 小时前
kafka发送事件的几种方式
spring boot·分布式·docker·容器·kafka·intellij-idea·linq
全栈弟弟7 小时前
高级大数据开发协会
大数据·数据仓库·hadoop·flink·spark
小王是个弟弟8 小时前
ClickHouse-Kafka Engine 正确的使用方式
clickhouse·kafka
happycao1238 小时前
kafka 一步步探究消费者组与分区分配策略
中间件·kafka
qianer0_08 小时前
php实现kafka
kafka·php·linq
happycao1238 小时前
kafka消息发送几种方式
分布式·kafka
天地风雷水火山泽8 小时前
二百六十四、Java——Java采集Kafka主题A的JSON数据,解析成一条条数据,然后写入Kafka主题B中
java·开发语言·kafka