Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。

在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

java 复制代码
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
相关推荐
tonyabasy21 小时前
Flink 实时数仓开发实战:SQL中也能做到资源精细化管理
flink
大大大大晴天1 天前
浅聊Flink实时关联计算的不适用场景
flink
大大大大晴天2 天前
深入解析 Flink Kafka Connector:原理、配置与最佳实践
flink
阿里云云原生3 天前
告别冗长链路!Kafka × Table Bucket 实现开放表格式零 ETL 实时入湖
云原生·kafka
摇滚侠9 天前
IDEA 创建 Java 项目 手动整合 SSM 框架
java·ide·intellij-idea
OceanBase数据库官方博客9 天前
OceanBase + Flink 数据集成(第二部分):通过 JDBC 协议实现实时数据同步
大数据·flink·oceanbase
摇滚侠9 天前
SpringMVC 入门到实战 RESTFul 49-55
java·开发语言·后端·spring·intellij-idea·restful
Volunteer Technology9 天前
Flink Table API与SQL(一)
大数据·sql·flink
大大大大晴天️9 天前
Flink Connector Formats深度解析:从原理到实践
大数据·flink
代码雕刻家9 天前
1.24.MySQL-idea中连接MySQL的基本操作
数据库·mysql·intellij-idea