flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
Henb9291 小时前
# Flink 生产环境调优案例
大数据·flink·linq
dinl_vin16 小时前
Flink 实时计算引擎深度解析
大数据·flink
lifallen17 小时前
Flink Agents:Memory 层级分析 (Sensory, Short-Term, Long-Term)
java·大数据·人工智能·语言模型·flink
lifallen17 小时前
Flink Agents:外部副作用一致性 (ActionStateStore) 演进分析
java·大数据·人工智能·语言模型·flink
大大大大晴天️17 小时前
Flink技术实践-实时流中的脏数据治理
大数据·flink
lifallen18 小时前
Flink Agents:Watermark 与事件时间 (Event Time) 在 Agent 算子中的演进分析
java·大数据·人工智能·语言模型·flink
lifallen2 天前
Flink Agent:RunnerContext 注入与装配演进分析
java·大数据·人工智能·语言模型·flink
彧翎Pro2 天前
从零开始学Flink:Flink 双流 JOIN 实战详解
大数据·flink·linq
Memory_荒年3 天前
Flink CDC:数据库的"时光机",让数据流动像德芙一样丝滑!
flink
tian_jiangnan3 天前
Flink checkopint使用教程
大数据·flink