2.3 Spark运行架构与流程

Spark运行架构与流程包括几个核心概念：Driver负责提交应用并初始化作业，Executor在工作节点上执行任务，作业是一系列计算任务，任务是作业的基本执行单元，阶段是一组并行任务。Spark支持多种运行模式，包括单机、Standalone集群、YARN和Mesos集群，以及高可用集群。运行流程包括资源申请、分配、反馈、反向注册和任务提交。Driver与Cluster Manager通信，管理资源和任务，Executor向Driver注册并执行任务。整个流程确保了Spark应用的高效执行和资源的合理利用。