Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
Hello.Reader2 小时前
Flink ZooKeeper HA 实战原理、必配项、Kerberos、安全与稳定性调优
安全·zookeeper·flink
李少兄3 小时前
在 IntelliJ IDEA 中修改 Git 远程仓库地址
java·git·intellij-idea
Hello.Reader6 小时前
Flink 使用 Amazon S3 读写、Checkpoint、插件选择与性能优化
大数据·flink
ask_baidu6 小时前
KafkaUtils
kafka·bigdata
Hello.Reader7 小时前
Flink 对接 Google Cloud Storage(GCS)读写、Checkpoint、插件安装与生产配置指南
大数据·flink
Hello.Reader7 小时前
Flink Kubernetes HA(高可用)实战原理、前置条件、配置项与数据保留机制
贪心算法·flink·kubernetes
洛豳枭薰7 小时前
消息队列关键问题描述
kafka·rabbitmq·rocketmq
lucky67078 小时前
Spring Boot集成Kafka:最佳实践与详细指南
spring boot·kafka·linq
wending-Y8 小时前
记录一次排查Flink一直重启的问题
大数据·flink
Hello.Reader8 小时前
Flink 对接 Azure Blob Storage / ADLS Gen2:wasb:// 与 abfs://(读写、Checkpoint、插件与认证)
flink·flask·azure