Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
null_1719 小时前
IntelliJ IDEA 极致流畅配置方案:Ultra 9 285K + 64GB 内存实测
java·ide·intellij-idea
abcy07121321 小时前
flink state实例
大数据·算法·flink
Tenifs1 天前
关闭 IDEA 的英文单词拼写检查
java·intellij-idea
Flink_China1 天前
抖音集团基于Paimon的流式数据湖应用实践
大数据·flink
abcy0712131 天前
flink 对齐与非对齐,窗口,状态state原理详解
大数据·flink
dyonggan1 天前
IDEA从零搭建SpringCloud Alibaba完整工程
java·spring cloud·intellij-idea
大大大大晴天️1 天前
Flink DataStream API 进阶使用与避坑指南
大数据·flink
海棠Flower未眠2 天前
SpringBoot 整合 Kafka 高性能消息队列(荣耀典藏版)
分布式·kafka
Devin~Y2 天前
互联网大厂Java面试实战:Spring Boot、MyBatis、Redis、Kafka、JWT、Spring Cloud 与 AI 场景追问
java·spring boot·redis·spring cloud·kafka·mybatis·spring security
abcy0712132 天前
flink Task Slots and Resources详解
flink