Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
北漂老男孩3 小时前
IntelliJ IDEA 调试技巧指南
java·ide·intellij-idea
eddie_k210 小时前
IDEA+Docker插件一键部署SpringBoot项目到远程服务器
spring boot·docker·intellij-idea
小手WA凉11 小时前
kafka指北
分布式·kafka
用户31400763451013 小时前
Apache Kafka 的 HW(高水位)与 LEO(日志末端偏移)详解
kafka
eqwaak014 小时前
实时数仓中的Pandas:基于Flink+Arrow的流式处理方案——毫秒级延迟下的混合计算新范式
大数据·分布式·python·学习·flink·pandas
小陈真的睡不醒14 小时前
Docker 安装 Kafka (M3 芯片版)
后端·kafka
就叫飞六吧16 小时前
企业级日志系统架构Filebeat + Kafka + Logstash + Elasticsearch + Kibana现代日志管理架构详解
elasticsearch·kafka·系统架构
酷爱码17 小时前
kafka详细介绍以及使用
分布式·kafka
始终奔跑在路上20 小时前
maven在idea上搭建
java·maven·intellij-idea·mybatis
徐一闪_BigData20 小时前
Flink读取Kafka数据写入IceBerg(HiveCatalog)
大数据·flink·iceberg