flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
starzy19902 天前
Flink Sliding Window 详解及代码实现:从窗口重叠到状态爆炸防控
运维·数据库·flink
Gl�ria2 天前
Yarn NM 常驻Flink任务下线:stop/savepoint 释放容器
flink·yarn
TLA技术2 天前
LogMiner vs 裸日志解析(三):Oracle日志解析中的“前镜像”和“后镜像”,到底怎么用?
数据库·oracle·flink·dba·迁移学习
starzy19902 天前
Flink Session Window 详解及代码实现:从用户会话切割到窗口合并机制
java·flink
starzy19904 天前
Flink Window 详解及代码实现:从滚动窗口到迟到数据处理
大数据·flink
Thomas21434 天前
flink pekko OversizedPayloadException 异常排查记录
flink
平顶山大师5 天前
datalink下载安装
flink·微软
用户3610588626125 天前
从 chroot 到 LXC:四代容器隔离技术演进,Namespace 与 Cgroups 原理拆解
大数据·flink
Msshu1235 天前
什么是PD快充诱骗取电芯片,PD快充取电芯片如何选型
flink·rabbitmq·ambari·mariadb·storm·talkingdata
用户3610588626127 天前
Flink高级之侧输出流Side Output原理及代码实现:从OutputTag到多流分发
大数据·flink