技术栈

streamgraph

字节侠
4 个月前
大数据·flink·streamgraph·flink2·jobgraph
Flink2支持提交StreamGraph到Flink集群Flink集群Dispatcher也进行了修改,从JobGraph改成了接口ExecutionPlan,以支持StreamGraph的提交。 2. Flink2还移除了Per-Job的部署模式。 3. flink run-application 脚本命令已经不再使用,改成了 flink run yarn-application或者flink run kubernetes-application。execution.target
shandongwill
1 年前
大数据·flink·streamgraph
Flink StreamGraph生成过程在 Flink 中,StreamGraph 是数据流的逻辑表示,它描述了如何在 Flink 作业中执行数据流转换。StreamGraph 是 Flink 运行时生成执行计划的基础。 使用DataStream API开发的应用程序,首先被转换为 Transformation,再被映射为StreamGraph,在客户端进行StreamGraph、JobGraph的转换,提交JobGraph到Flink集群后,Flink集群负责将JobGraph转换为ExecutionGraph,之后进入调度执行阶段。