flink的streamGraph逻辑图优化为jobGraph

streamGraph到jobGraph主要作用是优化某些节点的合并,避免任务网络开销, 将多个节点合并在一个slot内执行

从起点开始遍历递归, 判断 的上限由节点的并行度是否一致, 及下游算子节点只有一个上游等, 把每个节点的上下游节点是否可合并放入两个集合中,然后再递归遍历两个集合中的节点

如果判断下游节点是可chain的, 则不可chain得递归会被忽略,如下代码

然后把可chain的节点放入 以起始节点为key, value是list的map中,把他们可chain一起的算子保存在一起

另外分析下游节点不可chain时, 则走如下递归

当判断起始节点和当前节点一致时,开启新的chain;

类似递归createChain 形成新的chain节点;

相关推荐
反方向的空3 小时前
GIt基本操作
大数据·git·elasticsearch
Leo.yuan5 小时前
数据仓库建设全解析!
大数据·数据库·数据仓库·数据分析·spark
望获linux8 小时前
智能清洁机器人中的实时操作系统应用研究
大数据·linux·服务器·人工智能·机器人·操作系统
三个蔡10 小时前
Java求职者面试:从Spring Boot到微服务的技术深度探索
java·大数据·spring boot·微服务·kubernetes
Lilith的AI学习日记12 小时前
AI提示词(Prompt)终极指南:从入门到精通(附实战案例)
大数据·人工智能·prompt·aigc·deepseek
白鲸开源13 小时前
任务运维、循环任务死锁.....DolphinScheduler任务配置经验分享
大数据
小钊(求职中)14 小时前
ElasticSearch从入门到精通-覆盖DSL操作和Java实战
java·大数据·elasticsearch·搜索引擎·全文检索
西电研梦15 小时前
稳扎稳打,25西电生命科学技术学院(考研录取情况)
大数据·考研·生物医学工程·西安电子科技大学
ICT_SOLIDWORKS15 小时前
智诚科技苏州SOLIDWORKS授权代理商的卓越之选
大数据·人工智能·科技·软件工程
24k小善16 小时前
FlinkUpsertKafka深度解析
java·大数据·flink·云计算