原理架构图
核心概念
- Driver： 一个应用只有一个Driver单节点 ，有任务队列，单线程串行执行 提交任务。但是一个集群可以有多个应用，实现应用级别的并发。向cluster Mannager申请执行节点资源，划分任务Stage，并整合worker结果
- Cluster Mannager： 资源管理器，接受Driver请求，按需启动Worker节点，不同模式启动时机不同。
- Worker： Worker启动后，注册给Driver，并接受执行Driver分发的任务，结果返回Driver，worker之间并行执行
Worker启动时机
收Cluster Mannager模式控制
- Standalone模式： 刚开始Worker就全部启动
- YARN模式： 动态按需
- K8s模式： 完全动态
