Spark详解

原理架构图

核心概念

  1. Driver: 一个应用只有一个Driver单节点 ,有任务队列,单线程串行执行 提交任务。但是一个集群可以有多个应用,实现应用级别的并发。向cluster Mannager申请执行节点资源,划分任务Stage,并整合worker结果
  2. Cluster Mannager: 资源管理器,接受Driver请求,按需启动Worker节点,不同模式启动时机不同。
  3. Worker: Worker启动后,注册给Driver,并接受执行Driver分发的任务,结果返回Driver,worker之间并行执行

Worker启动时机

收Cluster Mannager模式控制

  1. Standalone模式: 刚开始Worker就全部启动
  2. YARN模式: 动态按需
  3. K8s模式: 完全动态
相关推荐
学长毕设4 小时前
基于SpringBoot的儿童慈善捐赠管理系统-附源码
java·spring boot·后端
皮皮林5515 小时前
GitHub Copilot:你可以暂时不用,但别不知道它有多强
后端
学长毕设5 小时前
基于SpringBoot非遗文化展示与传播平台设计与实现-附源码
java·spring boot·后端
杨凯凡6 小时前
Spring Boot SSE 上线后不实时、频繁断线?Nginx 缓冲、心跳与连接回收实战
spring boot·后端·nginx
锋行天下7 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
金銀銅鐵7 小时前
用 Swing 重做操作数栈演示
java·jvm·后端
锋行天下7 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
锋行天下8 小时前
langgraph全栈项目(一)
前端·人工智能·后端
学长毕设8 小时前
基于SpringBoot的游戏攻略社区交流系统-附源码
spring boot·后端·游戏
程序员cxuan9 小时前
不得了,Google 造反了,Opus 5.5 又被干了
人工智能·后端·程序员