flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉

在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下:

异常1:

did not react to cancelling signal interrupting; it is stuck for 30 seconds in method:org.apache.flink.connector.idbc.internal.JdbcoutputFormat,flush (idbcoutoutFormat.iava:215)

异常2:

Task 'Source: Custom Source -> Map -> Map -> to: Row -> Map -> Sink: Unnamed (1/3)' did not react to cancelling signal for

30 seconds Task did not exit gracefully within 180 + seconds.

处理该问题,需要在 flink-conf.yaml配置文件加上:

task.cancellation.timeout: 0

这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。

相关推荐
Hello.Reader1 天前
在 YARN 上跑 Flink CDC从 Session 到 Yarn Application 的完整实践
大数据·flink
二进制_博客1 天前
eventTime+watermarker+allowedLateness到底窗口关闭时间是什么?
flink·kafka
2501_941403762 天前
Python高性能图像识别与TensorFlow实战分享:深度学习模型优化与批量推理经验
flink
Bug快跑-13 天前
面向高并发场景的多语言异构系统架构演进与性能优化策略深度解析实践分享全过程方法论探索
flink
Hello.Reader3 天前
在 Flink Standalone 集群上运行 Flink CDC从下载到跑起一个 MySQL→Doris 同步任务
大数据·mysql·flink
A尘埃4 天前
Flink实时数据处理
大数据·flink·实时数据处理
expect7g4 天前
Paimon源码解读 -- PartialUpdateMerge
大数据·后端·flink
yumgpkpm4 天前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase
Hello.Reader4 天前
使用 Flink CDC 搭建跨库 Streaming ETLMySQL + Postgres → Elasticsearch 实战
大数据·elasticsearch·flink
❀͜͡傀儡师5 天前
docker 部署Flink和传统部署
docker·容器·flink