Flink任务报错akka size oversized

文章目录

JobManager日志

bash 复制代码
ERROR 2024-10-11 09:55:27.381 [flink-akka.actor.default-dispatcher-21:a.r.EndpointWriter@77] [container_e03_1684219709246_3097_01_000001] Transient association error (association remains live)
akka.remote.OversizedPayloadException: Discarding oversized payload sent to Actor[akka.tcp://flink@core-75f4409-03:45402/user/rpc/taskmanager_0#-309080867]: max allowed size 10485760 bytes, actual size of encoded class org.apache.flink.runtime.rpc.messages.RemoteRpcInvocation was 16656583 bytes.

RPC / Akka

Flink使用Akka进行组件之间的RPC(JobManager/TaskManager/ResourceManager)。Flink不使用Akka进行数据传输。

jobmanager通过akka发送给taskmanager的message超过了默认的大小,可以临时先调大。

原因分析

实测删除checkpoint可以正常重启。该文章有相关分析

https://stackoverflow.com/questions/75363084/jobs-stuck-while-trying-to-restart-from-a-checkpoint

相关推荐
南棱笑笑生2 小时前
20250426在ubuntu20.04.2系统上打包NanoPi NEO开发板的FriendlyCore系统刷机eMMC的固件
大数据·elasticsearch·搜索引擎
九河云2 小时前
中药企业数字化转型:从传统制造到智能制药的跨越
大数据·人工智能·科技·重构·制造
L_pyu2 小时前
flume整合kafka
大数据·spark
塔能物联运维3 小时前
解析塔能科技:绿色低碳智慧节能一站式破局之匙
大数据·人工智能·物联网
南客先生3 小时前
Java在云计算、大数据、云原生下的应用和优势 - 面试实战
java·大数据·微服务·云原生·云计算·容器化·分布式计算
gegeyanxin3 小时前
Flink checkpoint问题排查指南
flink·数据倾斜·checkpoint失败
瞎胡侃14 小时前
Spark读取Apollo配置
大数据·spark·apollo
悻运14 小时前
如何配置Spark
大数据·分布式·spark
懒惰的橘猫14 小时前
Spark集群搭建之Yarn模式
大数据·分布式·spark
2401_8242568614 小时前
Spark-Streaming
大数据·分布式·spark