flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
Flink_China9 小时前
Apache Flink错误处理实战手册:2年生产环境调试经验总结
大数据·flink
君不见,青丝成雪1 天前
Flink的CheckPoint与SavePoint
大数据·flink
mask哥1 天前
详解flink SQL基础(四)
java·大数据·数据库·sql·微服务·flink
BD_Marathon2 天前
【Flink】部署模式
java·数据库·flink
jiedaodezhuti2 天前
Flink直接缓冲存储器异常解析与解决方案
大数据·flink
Flink_China2 天前
Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
大数据·flink
好奇的菜鸟3 天前
使用 Apache Flink CDC 3.0 实现 MySQL 到 Elasticsearch 的数据同步
mysql·flink·apache
ShawnLeiLei4 天前
2.3 Flink的核心概念解析
数据库·python·flink
livemetee4 天前
Flink2.0学习笔记:使用HikariCP 自定义sink实现数据库连接池化
大数据·数据库·笔记·学习·flink
程序员不迷路5 天前
Flink学习
大数据·flink