Flink任务报错akka size oversized

文章目录

JobManager日志

bash 复制代码
ERROR 2024-10-11 09:55:27.381 [flink-akka.actor.default-dispatcher-21:a.r.EndpointWriter@77] [container_e03_1684219709246_3097_01_000001] Transient association error (association remains live)
akka.remote.OversizedPayloadException: Discarding oversized payload sent to Actor[akka.tcp://flink@core-75f4409-03:45402/user/rpc/taskmanager_0#-309080867]: max allowed size 10485760 bytes, actual size of encoded class org.apache.flink.runtime.rpc.messages.RemoteRpcInvocation was 16656583 bytes.

RPC / Akka

Flink使用Akka进行组件之间的RPC(JobManager/TaskManager/ResourceManager)。Flink不使用Akka进行数据传输。

jobmanager通过akka发送给taskmanager的message超过了默认的大小,可以临时先调大。

原因分析

实测删除checkpoint可以正常重启。该文章有相关分析

https://stackoverflow.com/questions/75363084/jobs-stuck-while-trying-to-restart-from-a-checkpoint

相关推荐
哲讯智能科技8 小时前
苏州SAP代理商:哲讯科技助力企业数字化转型
大数据·运维·人工智能
Edingbrugh.南空8 小时前
Apache Iceberg与Hive集成:分区表篇
大数据·hive·hadoop
武子康9 小时前
大数据-13-Hive 启动Hive DDL DML 增删改查 操作Hive的HQL
大数据·后端
Cachel wood10 小时前
后端开发:计算机网络、数据库常识
android·大数据·数据库·数据仓库·sql·计算机网络·mysql
得物技术11 小时前
得物社区活动:组件化的演进与实践
java·大数据·前端
Elastic 中国社区官方博客11 小时前
使用 Azure LLM Functions 与 Elasticsearch 构建更智能的查询体验
大数据·人工智能·elasticsearch·microsoft·搜索引擎·全文检索·azure
刘天远12 小时前
深度解析企业风控API技术实践:构建全方位企业风险画像系统
大数据·数据库·数据分析
后院那片海12 小时前
GFS分布式文件系统
大数据·服务器·数据库
IT_102413 小时前
Spring Boot的Security安全控制——应用SpringSecurity!
大数据·spring boot·后端
盟接之桥14 小时前
国产替代新标杆|盟接之桥EDI软件让中国制造连接世界更安全、更简单、更有底气
大数据