现象
从chk启动flink 某算子一直显示"load",其他task chain都是running,然后整体都变loadding, 来回反复循环.
日志
jobmanager:
org.apache.pekko.remote.OversizedPayloadException:
Discarding oversized payload ...
max allowed size 10485760 bytes,
actual size ... was 11570100 bytes.
flink pekko jobmanager->taskmanager rpc默认10MB
超过后会被丢弃 从而导致某个task chain无法起来
建议处理方案
根本原因:
不是flink state太大,而是 state 的内容/恢复句柄复杂度大
