Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
合作小小程序员小小店17 小时前
web网页开发,在线%考试管理%系统,基于Idea,vscode,html,css,vue,java,maven,springboot,mysql
java·前端·系统架构·vue·intellij-idea·springboot
精装机械师17 小时前
在IntelliJ IDEA编辑器中基于Gradle编译器搭建Kotlin开发环境遇到的各种坑
kotlin·gradle·intellij-idea
拽着尾巴的鱼儿17 小时前
idea AI编程 腾讯云代码助手 CodeBuddy插件安装和使用
intellij-idea·腾讯云·ai编程
合作小小程序员小小店21 小时前
web网页开发,在线物流管理系统,基于Idea,html,css,jQuery,jsp,java,SSM,mysql
java·前端·后端·spring·intellij-idea·web
冰芒芒1 天前
Kafka-2 Kafka的特点
分布式·kafka
xc丶卡卡1 天前
Windows 系统上安装 Kafka
kafka·windoiws安装kafka
图乐aj1 天前
kafka 运维基础知识
运维·kafka
水月wwww1 天前
Maven项目及Tomcat配置(IDEA)
tomcat·maven·intellij-idea·javaweb
yumgpkpm1 天前
CMP(类Cloudera CDP 7.3 404版华为Kunpeng)与其他大数据平台对比
大数据·hive·hadoop·elasticsearch·kafka·hbase·cloudera
艾斯比的日常1 天前
Kafka Partition 深度解析:原理、策略与实战优化
分布式·kafka