Flink任务报错akka size oversized

zincooo2024-10-26 20:44

文章目录

JobManager日志
[RPC / Akka](#RPC / Akka)
原因分析

JobManager日志

bash 复制代码

ERROR 2024-10-11 09:55:27.381 [flink-akka.actor.default-dispatcher-21:a.r.EndpointWriter@77] [container_e03_1684219709246_3097_01_000001] Transient association error (association remains live)
akka.remote.OversizedPayloadException: Discarding oversized payload sent to Actor[akka.tcp://flink@core-75f4409-03:45402/user/rpc/taskmanager_0#-309080867]: max allowed size 10485760 bytes, actual size of encoded class org.apache.flink.runtime.rpc.messages.RemoteRpcInvocation was 16656583 bytes.

RPC / Akka

Flink使用Akka进行组件之间的RPC(JobManager/TaskManager/ResourceManager)。Flink不使用Akka进行数据传输。

jobmanager通过akka发送给taskmanager的message超过了默认的大小，可以临时先调大。

原因分析

实测删除checkpoint可以正常重启。该文章有相关分析

https://stackoverflow.com/questions/75363084/jobs-stuck-while-trying-to-restart-from-a-checkpoint