flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
Apache Flink13 分钟前
Flink Agents 0.1.0 发布公告
大数据·flink
武子康12 小时前
大数据-129 - Flink CEP详解:实时流式复杂事件处理(Complex Event Processing)全解析
大数据·后端·flink
武子康1 天前
大数据-128 - Flink 并行度详解:从概念到最佳实践,一文读懂任务并行执行机制 代码示例与性能优化
大数据·后端·flink
Hello.Reader2 天前
Flink Data Source 理论与实践架构、时序一致性、容错恢复、吞吐建模与实现模式
架构·flink·linq
Hello.Reader2 天前
Flink 受管状态的自定义序列化原理、实践与可演进设计
java·网络·flink
笔生花2 天前
【实战-12】flink版本表
数据库·sql·flink
万琛2 天前
Flink1.20 CEP【水位线异常原因深度分析】
flink
板凳坐着晒太阳2 天前
Flink 作业通用优化方案
大数据·flink
武子康3 天前
大数据-127 - Flink StateBackend详解:Memory、Fs、RocksDB 与 OperatorState 管理机制与重分配原理
大数据·后端·flink
Hello.Reader3 天前
Flink 窗口 Join 与区间 Join 实战详解
大数据·flink