Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
逻极2 小时前
Hermes Agent深度探索:一个会自我沉淀经验的终端智能体
架构·llm·agent·rag·多智能体系统·hermes agent·hermes
数智顾问2 小时前
(151页PPT)XX集团信息化整体架构规划及ERP方案建议书(附下载方式)
大数据·架构
天行健,君子而铎3 小时前
2026年通用行业数据分类分级产品排名——聚焦成本低、全链路覆盖与高性能计算的优质选型
大数据·数据库·人工智能
caimouse3 小时前
Reactos 第1章 概述
c语言·开发语言·架构
财经资讯数据_灵砚智能3 小时前
基于全球经济类多源新闻的NLP情感分析与数据可视化(夜间-次晨)2026年6月10日
大数据·人工智能·python·ai·信息可视化·自然语言处理·灵砚智能
namexingyun3 小时前
拆解Fable 5三重安全护栏:模型路由、蒸馏防护与生物安全分类器的技术原理 - 微元算力(weytoken)
java·人工智能·python·安全·架构·ai编程
小短腿的代码世界3 小时前
行情快照与增量更新引擎:Qt在高频交易数据分发中的核心架构——你的行情推送为什么延迟了500ms?
开发语言·qt·架构
上海云盾第一敬业销售3 小时前
高效阻止网站攻击的WAF防护架构解析
web安全·架构·ddos
意图共鸣4 小时前
意图共鸣科技《AI记忆链商业化白皮书3.0》假设场景解析:从母亲到消防员,专属AI如何重塑记忆与传承
人工智能·科技·架构
FPGA小徐4 小时前
Xilinx zynq-7000系列FPGA移植Linux操作系统详细教程
fpga开发·架构