Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
梦里不知身是客113 小时前
flink任务的UI提交方式
大数据·ui·flink
BD_Marathon6 小时前
【IDEA】IDEA的详细设置
java·ide·intellij-idea
Hello.Reader6 小时前
Flink SQL 从本地安装到跑通第一条流式 SQL
大数据·sql·flink
菜鸟冲锋号6 小时前
Paimon 流 - 流增量关联(CDC 模式)具体实现方案
大数据·flink·数据湖·paimon·多流外键关联
任子菲阳6 小时前
学Java第五十二天——IO流(下)
java·开发语言·intellij-idea
二进制_博客7 小时前
Flink doesn‘t support ENFORCED mode for PRIMARY KEY constraint
大数据·flink·flinkcdc
Hello.Reader7 小时前
用 Flink SQL 搭建一个实时统计应用Kafka → Flink → MySQL 实战
sql·flink·kafka
路边草随风7 小时前
java 实现 flink 读 kafka 写 delta
java·大数据·flink·kafka
zzhongcy7 小时前
RocketMQ、Kafka 和 RabbitMQ 等中间件对比
kafka·rabbitmq·rocketmq
写bug的小屁孩7 小时前
2.Kafka-命令行操作、两种消息模型
分布式·kafka