spark运行流程
- 任务提交后，先启动 Driver 程序
- 随后 Driver 向集群管理器注册应用程序
- 集群管理器根据此任务的配置文件分配 Executor 并启动
- Driver 开始执行 main 函数，Spark 查询为懒执行，当执行到 Action 算子时开始反向推
算，根据宽依赖进行 Stage 的划分，随后每一个 Stage 对应一个 Taskset，Taskset 中有多个 Task - 查找可用资源 Executor 进行调度
- 根据本地化原则，Task 会被分发到指定的 Executor 去执行
- 任务执行的过程中，Executor 也会不断与 Driver 进行通信，报告任务运行情况
进行通信，报告任务运行情况