flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
一条鱼丶21 分钟前
深入理解 Flink Watermark——流数据处理中的乱序问题解决方案
flink
大大大大晴天4 小时前
Flink SQL 从编写到提交运行的全过程解析
flink
大大大大晴天2 天前
Flinksql内置函数不够用?一文弄懂UDF
flink
手可摘星辰7774 天前
一次线上FlinkCDC异常排查复盘
大数据·flink
阿里云大数据AI技术5 天前
Flink Forward Asia 2026 深圳启幕:Agentic Streaming for AI,开启实时智能新范式
大数据·flink
tonyabasy7 天前
Flink 实时数仓开发实战:SQL中也能做到资源精细化管理
flink
大大大大晴天7 天前
浅聊Flink实时关联计算的不适用场景
flink
大大大大晴天8 天前
深入解析 Flink Kafka Connector:原理、配置与最佳实践
flink
OceanBase数据库官方博客15 天前
OceanBase + Flink 数据集成(第二部分):通过 JDBC 协议实现实时数据同步
大数据·flink·oceanbase
Volunteer Technology15 天前
Flink Table API与SQL(一)
大数据·sql·flink