flink的streamGraph逻辑图优化为jobGraph

streamGraph到jobGraph主要作用是优化某些节点的合并,避免任务网络开销, 将多个节点合并在一个slot内执行

从起点开始遍历递归, 判断 边 的上限由节点的并行度是否一致, 及下游算子节点只有一个上游等, 把每个节点的上下游节点是否可合并放入两个集合中,然后再递归遍历两个集合中的节点

如果判断下游节点是可chain的, 则不可chain得递归会被忽略,如下代码

然后把可chain的节点放入 以起始节点为key, value是list的map中,把他们可chain一起的算子保存在一起

;

另外分析下游节点不可chain时, 则走如下递归

当判断起始节点和当前节点一致时,开启新的chain;

类似递归createChain 形成新的chain节点;

相关推荐
大大大大晴天️18 小时前
从 Prompt 到 Tool Calling:AI Agent 如何稳定连接程序世界
大数据·ai-agent
跨境卫士苏苏19 小时前
亚马逊卖家接口新增欧盟清关商品标识要求跨境技术团队如何适配
大数据·新媒体运营·市场营销·跨境电商·跨境·营销策略
roman_日积跬步-终至千里19 小时前
数仓方法论(四):跨过程整合——用一致性维度连接不同业务事实
大数据
roman_日积跬步-终至千里20 小时前
数仓方法论(一):需求分析——把经营诉求转化为可验证的数据需求
大数据·数据挖掘·需求分析
智恒百亿21 小时前
一台 5090 八卡服务器怎么分给一个团队用?多模型多任务的显存分配实战
java·大数据·人工智能
yyk3332421 小时前
大数据工具介绍
大数据
超级新零售1 天前
服装订货会数字化:商品版本、订单状态与后续配发数据如何衔接?
大数据·小程序·企业微信
滼1 天前
AI 数据安全面试应答框架:从大框架到小点
大数据·人工智能·安全·面试·安全架构
第九序言T1 天前
Python 数据处理进阶(二十一)相关性与分组对比:数据里藏着什么关系
大数据·人工智能·python·数据分析·pandas
roman_日积跬步-终至千里1 天前
数仓方法论(五):历史与增量——让变化进入数仓而不丢失解释
大数据