flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
翰林小院3 天前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
过尽漉雪千山3 天前
Flink1.17.0集群的搭建
java·大数据·linux·flink·centos
mask哥4 天前
详解mcp以及agen架构设计与实现
java·微服务·flink·大模型·ai agent·springai·mcp
潘达斯奈基~4 天前
Google AI Studio使用1:创建Flink测试题APP
大数据·flink·aigc
jiedaodezhuti5 天前
Flink on YARN 实战问题排查指南(精华版)
大数据·flink
Hello.Reader5 天前
Apache Flink 从流处理基础到恰好一次语义
flink·apache·linq
天翼云开发者社区6 天前
Flink 与Flink可视化平台StreamPark教程(CDC功能)
大数据·flink
Apache Flink7 天前
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
人工智能·flink·apache
索迪迈科技7 天前
Flink Task线程处理模型:Mailbox
java·大数据·开发语言·数据结构·算法·flink