flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
Jackeyzhe7 小时前
Flink源码阅读:如何生成ExecutionGraph
flink
山沐与山18 小时前
【Flink】Flink编程模型:DataStream与DataSet
大数据·flink
面向Google编程18 小时前
Flink源码阅读:如何生成ExecutionGraph
大数据·flink
面向Google编程19 小时前
Flink源码阅读:状态管理
大数据·flink
面向Google编程19 小时前
Flink源码阅读:Checkpoint机制(下)
大数据·flink
Jackyzhe20 小时前
Flink源码阅读:Checkpoint机制(上)
大数据·flink
Lin_Miao_0921 小时前
Flink + Doris + Airflow 构建企业级实时报表统计平台方案
大数据·flink
Jackeyzhe1 天前
Flink源码阅读:如何生成JobGraph
flink
2021_fc1 天前
Flink笔记
大数据·笔记·flink
Hello.Reader2 天前
Flink SQL 的 UNLOAD MODULE 模块卸载、会话隔离与常见坑
大数据·sql·flink