记第一次跟踪seatunnel的任务运行过程二——ClientJobExecutionEnvironment的execture方法

前绪

记第一次跟踪seatunnel的任务运行过程

正题

创建LogicalDag

创建一个LogicalDag,根据代码注释理解LogicalDag里维护的就是任务配置文件中的source、transformer、sink。

java 复制代码
LogicalDag logicalDag = getLogicalDag();

本次任务的固定信息

固定本此job的固定信息,其中要注意的就是jarUrls和connectorJarIdentifiers,就是你部署的seatunnel服务下libs下的依赖的第三方jar包,以及connector下的的连接器。job执行用到第三方jar或者connector时就会从这里获取。

java 复制代码
JobImmutableInformation jobImmutableInformation = new JobImmutableInformation(
	Long.parseLong(jobConfig.getJobContext().getJobId()),
	jobConfig.getName(),
	isStartWithSavePoint,
	seaTunnelHazelcastClient.getSerializationService().toData(logicalDag),
	jobConfig,
	new ArrayList<>(jarUrls),
	new ArrayList<>(connectorJarIdentifiers)
);

创建并返回代理对象,过程中完成了任务的提交

根据前面收集到的job信息,创建一个job代理并返回,同时在这个过程中完成job的提交:封装成一个任务,提交给Hazelcast去执行。

java 复制代码
return jobClient.createJobProxy(jobImmutableInformation);

提交任务

jobClient的createJobProxy方法中创建了一个ClientJobProxy对象,在ClientJobProxy的构造函数中完成了job的提交。

java 复制代码
    public ClientJobProxy(
            @NonNull SeaTunnelHazelcastClient seaTunnelHazelcastClient,
            @NonNull JobImmutableInformation jobImmutableInformation) {
        this.seaTunnelHazelcastClient = seaTunnelHazelcastClient;
        this.jobId = jobImmutableInformation.getJobId();
        submitJob(jobImmutableInformation);
    }

submitJob方法

创建一个ClientMessage对象后,构建一个job执行的PassiveCompletableFuture对象submitJobFuture,调用对象的join方法。

结束

任务提交完成,在主流程(ClientJobExecutionEnvironment的execture方法)中等待任务的结果。

java 复制代码
JobResult jobResult = clientJobProxy.waitForJobCompleteV2();
相关推荐
Johny_Zhao1 个月前
SeaTunnel的搭建部署以及测试
linux·网络·网络安全·信息安全·kubernetes·云计算·containerd·devops·seatunnel·系统运维
ApacheSeaTunnel1 个月前
从《中国开源年度报告》看中国开源力量的十年变迁中,Apache SeaTunnel 的跃迁
开源·seatunnel
ApacheSeaTunnel1 个月前
从日志到告警,带你用好 SeaTunnel 的事件监听能力
大数据·数据集成·seatunnel·技术分享
ApacheSeaTunnel2 个月前
破 400!Apache SeaTunnel 成为全球开发者共建热土
大数据·开源·github·seatunnel
ApacheSeaTunnel2 个月前
MySQL 数据同步至 S3file,并接入 Hive 访问:SeaTunnel 实践指南
大数据·mysql·开源·数据集成·s3·seatunnel·数据同步
SunTecTec2 个月前
【阿里巴巴JAVA开发手册】IDE的text file encoding设置为UTF-8; IDE中文件的换行符使用Unix格式,不要使用Windows格式。
intellij-idea·seatunnel
SeaTunnel2 个月前
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?
大数据·开源·bug·数据集成·seatunnel
GawynKing3 个月前
Apache SeaTunnel Spark引擎执行流程源码分析
spark·源码·seatunnel
ApacheSeaTunnel3 个月前
实测提速 60%!Maven Daemon 全面加速 SeaTunnel 编译打包效率
大数据·开源·数据集成·seatunnel·技术分享·maven daemon
SeaTunnel3 个月前
如何将SeaTunnel MySQL-CDC与Databend 高效整合?格式与方案全解析
数据库·mysql·开源·数据集成·seatunnel·databend