Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
2301_780789665 分钟前
CDN提供商常用的DDoS缓解技术与策略
linux·运维·服务器·人工智能·架构
阿童木写作15 分钟前
自动智能抠图工具推荐:跨马翻译批量处理图片与视频字幕,跨境电商高效翻译
大数据·人工智能·python·音视频
shengchanxian117 分钟前
2026年9月家电总装倍速链流水线定制工厂走访笔记:探厂看穿交付实力
大数据·笔记·家电总装倍速链流水线工厂
光锥智能24 分钟前
当Agent开始“动手”,企业AI竞争已从模型跑到“体系”
大数据·人工智能
姚不倒25 分钟前
Nginx 核心架构:Master-Worker、epoll、热重载深度解析
运维·nginx·架构
jkyy201433 分钟前
从娱乐座舱到健康服务空间:重构智能出行的主动守护范式
大数据·人工智能·健康医疗
牛企老板俱乐部38 分钟前
2026年9月喀什配近视眼镜专业设备与验光师资质是选店核心依据
大数据
Dawson Zhu1 小时前
Agent 工具体系:从 MCP 协议到层次化工具发现
人工智能·语言模型·架构·aigc·agi
里斯分院1 小时前
上海比较好的宣传片品牌哪家可靠
大数据·传媒·视频
DeepAgent1 小时前
AI Agent 工程实践(39):第一次实现——先做一个最小 Agent
大数据·人工智能·agent