flink的streamGraph逻辑图优化为jobGraph

streamGraph到jobGraph主要作用是优化某些节点的合并,避免任务网络开销, 将多个节点合并在一个slot内执行

从起点开始遍历递归, 判断 的上限由节点的并行度是否一致, 及下游算子节点只有一个上游等, 把每个节点的上下游节点是否可合并放入两个集合中,然后再递归遍历两个集合中的节点

如果判断下游节点是可chain的, 则不可chain得递归会被忽略,如下代码

然后把可chain的节点放入 以起始节点为key, value是list的map中,把他们可chain一起的算子保存在一起

另外分析下游节点不可chain时, 则走如下递归

当判断起始节点和当前节点一致时,开启新的chain;

类似递归createChain 形成新的chain节点;

相关推荐
GIS数据转换器2 小时前
AI 技术在智慧城市建设中的融合应用
大数据·人工智能·机器学习·计算机视觉·系统架构·智慧城市
TDengine (老段)4 小时前
TDengine IDMP 背后的技术三问:目录、标准与情景
大数据·数据库·物联网·算法·时序数据库·iot·tdengine
用手手打人5 小时前
SpringCloud -- elasticsearch(二)
大数据·elasticsearch·搜索引擎
ID_180079054735 小时前
python采集拍立淘按图搜索API接口,json数据参考
大数据·数据库·python·json
凝新科技5 小时前
Adobe Analytics 数据分析平台|全渠道客户行为分析与体验优化
大数据·adobe·数据分析
expect7g8 小时前
FlinkSQL优化---持续更新
后端·flink
塔能物联运维8 小时前
极端天气频发,城市照明如何守住安全底线?
大数据
nassi_8 小时前
Linux 中 Git 操作大全
大数据·elasticsearch·搜索引擎
软件测试-阿涛9 小时前
2025年大语言模型与多模态生成工具全景指南(V2.0)
大数据·图像处理·人工智能·语言模型·视频
云和数据.ChenGuang10 小时前
envFrom 是一个 列表类型字段bug
大数据·云原生·容器·kubernetes·云计算·bug