flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
二十六画生的博客4 小时前
Flink快照保留多久、多少个,设置参数
大数据·flink
渣渣盟5 小时前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
hsD5mSMu57 小时前
从零开始学Flink:Flink SQL 极简入门
大数据·sql·flink
亚马逊云开发者2 天前
EMR Core 节点部署 Flink Client 实战:Bootstrap Action 一次打包多次复用,解决调度系统提交任务的痛点
大数据·flink·bootstrap
juniperhan2 天前
Flink 系列第20篇:Flink SQL 语法全解:从 DDL 到 DML,窗口、聚合、列转行一网打尽
大数据·数据仓库·分布式·sql·flink
大大大大晴天2 天前
Flink技术实践——Flink资源扩缩容方案演进
flink
csgo打的菜又爱玩2 天前
9.Dispatcher 启动流程解析
大数据·flink·源代码管理
大大大大晴天️2 天前
Flink技术实践——Flink资源扩缩容方案演进
大数据·flink
阿里云大数据AI技术3 天前
Agentic风控:Flink+Fluss+大模型构建Agent全链路风险感知与实时告警
人工智能·flink