Spark详解

原理架构图

核心概念

1. Driver： 一个应用只有一个Driver单节点 ，有任务队列，单线程串行执行 提交任务。但是一个集群可以有多个应用，实现应用级别的并发。向cluster Mannager申请执行节点资源，划分任务Stage，并整合worker结果
2. Cluster Mannager： 资源管理器，接受Driver请求，按需启动Worker节点，不同模式启动时机不同。
3. Worker： Worker启动后，注册给Driver，并接受执行Driver分发的任务，结果返回Driver，worker之间并行执行

Worker启动时机

收Cluster Mannager模式控制

1. Standalone模式： 刚开始Worker就全部启动
2. YARN模式： 动态按需
3. K8s模式： 完全动态