Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
wudl556616 分钟前
Flink 1.20 flink-config.yml 配置详解
大数据·flink
沉默终止5 小时前
Kafka Queue: 完成 alterShareGroupOffsets Api
kafka
楚韵天工6 小时前
宠物服务平台(程序+文档)
java·网络·数据库·spring cloud·编辑器·intellij-idea·宠物
Apache Flink8 小时前
Flink Agents 0.1.0 发布公告
大数据·flink
摇滚侠9 小时前
Spring Boot 项目, idea 控制台日志设置彩色
java·spring boot·intellij-idea
W.Buffer11 小时前
Kafka零拷贝原理深度解析:从传统拷贝痛点到工作实践优化
分布式·kafka
我命由我1234511 小时前
Spring Boot - Spring Boot 静态资源延迟响应(使用拦截器、使用过滤器、使用 ResourceResolver)
java·spring boot·后端·spring·java-ee·intellij-idea·intellij idea
shinelord明14 小时前
【大数据技术实战】Kafka 认证机制全解析
大数据·数据结构·分布式·架构·kafka
阿拉-M8316 小时前
IntelliJ IDEA Windows 系统高频快捷键使用手册
java·windows·intellij-idea
BUTCHER517 小时前
Kafka多网卡环境配置
分布式·kafka