spark运行流程

spark运行流程

1. 任务提交后，先启动 Driver 程序
2. 随后 Driver 向集群管理器注册应用程序
3. 集群管理器根据此任务的配置文件分配 Executor 并启动
4. Driver 开始执行 main 函数，Spark 查询为懒执行，当执行到 Action 算子时开始反向推
   算，根据宽依赖进行 Stage 的划分，随后每一个 Stage 对应一个 Taskset，Taskset 中有多个 Task
5. 查找可用资源 Executor 进行调度
6. 根据本地化原则，Task 会被分发到指定的 Executor 去执行
7. 任务执行的过程中，Executor 也会不断与 Driver 进行通信，报告任务运行情况
   进行通信，报告任务运行情况