flink pekko OversizedPayloadException 异常排查记录

现象

从chk启动flink 某算子一直显示"load",其他task chain都是running,然后整体都变loadding, 来回反复循环.

日志

jobmanager:

org.apache.pekko.remote.OversizedPayloadException:

Discarding oversized payload ...

max allowed size 10485760 bytes,

actual size ... was 11570100 bytes.

flink pekko jobmanager->taskmanager rpc默认10MB

超过后会被丢弃 从而导致某个task chain无法起来

建议处理方案

根本原因:

不是flink state太大,而是 state 的内容/恢复句柄复杂度大

相关推荐
yyk333242 天前
Flink详细讲解
大数据·flink
且从容.11 天前
ubuntu安装flink
linux·ubuntu·flink
用户36105886261214 天前
Flink 内存分配源码深度剖析:从启动计算到运行时动态分配的完整链路
大数据·flink
Thomas214316 天前
flink paimon 参数 ignore_progress=true
大数据·flink
源图客16 天前
Apache Flink 2.3.0(最新版本)
大数据·flink·apache
abigalexy17 天前
Flink核心疑难问题、踩坑盲点-汇总
大数据·flink·big data·bigdata
Sayai17 天前
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)
大数据·运维·分布式·flink·kafka·消息队列·高可用
渣渣盟18 天前
Flink 状态管理深度剖析:从 KeyedState 到 RocksDB,状态如何存储、恢复与扩缩容
android·大数据·flink
@小匠19 天前
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏
大数据·hive·flink
Sayai19 天前
Flink 日志解析任务性能优化实战:正则/Grok 预编译、Guava 缓存权重陷阱与 ES 写入隔离
java·大数据·性能优化·flink·实时计算