Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
leisoo80976 小时前
100GBA股股票数据怎么存ClickHouseRedisMySQLJSON完整对比
大数据·linux·服务器·开发语言·python
AI产品测评官6 小时前
突破系统割裂困局:2026企业级AI招聘架构如何迈向“原生全流程”?
大数据·微服务·架构
梦梦代码精6 小时前
连锁品牌数字化:从门店扩张到用户资产运营的技术底座
大数据·人工智能·低代码·docker·开源·代码规范
寒草7 小时前
【寒草呈献】当巴菲特走进 AI 投研助手
人工智能·架构
ltl7 小时前
推理服务化:Triton、Ray Serve、KServe 与 PD 分离
架构
@insist1238 小时前
系统集成项目管理工程师-安全架构与云原生架构
云原生·架构·软考·安全架构·系统集成项目管理工程师·软考中项·软件水平考试
Java成神之路-9 小时前
集群架构 vs 分布式微服务架构:核心区别通俗拆解
分布式·微服务·架构
沐梯子9 小时前
具身智能爆发前夜的“数据饥渴”:2026机器人数据采集产业链选型解析
大数据·人工智能·机器人
ltqvibe10 小时前
企业数智化中台的五层架构——AI框架为什么需要纵向贯通
大数据·人工智能·架构