Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
Knight_AL40 分钟前
Flink 核心算子详解:map / flatMap / filter / process
大数据·python·flink
寂寞旅行3 小时前
IDEA 中使用 claude code 插件
java·ide·intellij-idea
重生之绝世牛码3 小时前
Linux软件安装 —— Flink集群安装(集成Zookeeper、Hadoop高可用)
大数据·linux·运维·hadoop·zookeeper·flink·软件安装
Blossom.1183 小时前
实时知识增强大模型:基于Flink的流式向量索引与动态RAG系统
大数据·运维·人工智能·python·flink·prompt·知识图谱
Hello.Reader3 小时前
Flink SQL 接入 Amazon Kinesis Data Streams 版本迁移、DDL、EFO/Polling、分区与常见坑一篇搞定
大数据·sql·flink
Echoo华地17 小时前
idea运行程序默认线程为daemon线程的问题
java·ide·intellij-idea
烤麻辣烫1 天前
java进阶--刷题与详解-2
java·开发语言·学习·intellij-idea
Chan161 天前
【 微服务SpringCloud | 方案设计 】
java·spring boot·微服务·云原生·架构·intellij-idea
Hello.Reader1 天前
Flink DynamoDB Connector 用 Streams 做 CDC,用 BatchWriteItem 高吞吐写回
大数据·python·flink
计算机毕设指导61 天前
基于微信小程序的运动场馆服务系统【源码文末联系】
java·spring boot·微信小程序·小程序·tomcat·maven·intellij-idea