flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
HEADKON11 小时前
Synagis帕利佐单抗给药季节为11月至次年4月,过敏体质者需备肾上腺素
flink
korry2411 小时前
flink实时计算实例(保姆级操作)
大数据·flink
陆水A2 天前
【实时数仓·3】Flink多表JOIN状态爆炸——Event Time Temporal JOIN + TTL分层治理
大数据·数据仓库·数据分析·flink·数据库开发·bigdata
INGNIGHT2 天前
Flink 的三种一致性语义
大数据·flink·linq
大大大大晴天2 天前
Flink-HBase生产问题排查:NoClassDefFoundError
flink·hbase
大大大大晴天️2 天前
Flink-HBase生产问题排查:NoClassDefFoundError
大数据·flink·hbase
好家伙VCC2 天前
Delta Lake + Flink 实现近实时数据湖 Schema 演化
java·大数据·flink
lixia0417mul25 天前
flink接入spring体系
java·spring·flink
Volunteer Technology6 天前
Flink编程模型与API
大数据·flink