flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
Hello.Reader4 小时前
用 CdcUp CLI 一键搭好 Flink CDC 演练环境
大数据·flink
Hello.Reader5 小时前
Flink CDC「Data Pipeline」定义与参数速查
大数据·flink
Hello.Reader14 小时前
Flink CDC 从 Definition 到可落地 YAML
大数据·adb·flink
wudl55661 天前
flink 1.20 物化表(Materialized Tables)
大数据·flink·linq
ImproveJin2 天前
Flink Source源码解析
大数据·flink
PONY LEE2 天前
Flink Rebalance触发乱序的问题
大数据·flink
勇哥的编程江湖2 天前
本地搭建Flinkcdc-mysql-kafka-flink-Doris实时数据集成
大数据·flink
驾数者2 天前
Flink SQL入门指南:从零开始搭建流处理应用
大数据·sql·flink
KM_锰2 天前
flink开发遇到的问题
大数据·flink
Hello.Reader3 天前
Flink 流式计算的状态之道从 Table/SQL 语义到算子状态与 TTL 精准控制
sql·flink·linq