Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
viperrrrrrrrrr713 分钟前
大数据学习(96)-Hive面试题
大数据·hive·学习
csssnxy1 小时前
叁仟数智指路机器人是否支持远程监控和管理?
大数据·人工智能
郭涤生2 小时前
第三章:事务处理_《凤凰架构:构建可靠的大型分布式系统》
笔记·架构·系统架构
郭涤生3 小时前
第七章:从类库到服务的分布式基石_《凤凰架构:构建可靠的大型分布式系统》
笔记·分布式·架构
爱编程的王小美4 小时前
Elasticsearch详解
大数据·elasticsearch·搜索引擎
“逛丢一只鞋”4 小时前
从2G到5G:认证体系演进与网元架构变迁深度解析
5g·架构
想你依然心痛5 小时前
Spark大数据分析与实战笔记(第四章 Spark SQL结构化数据文件处理-03)
笔记·数据分析·spark
大湾区经济门户网5 小时前
中国移动启动数字乡村“五新升级”:年底前,行政村5G覆盖达95%
大数据·5g·区块链·媒体
郭涤生6 小时前
第十三章:持久化存储_《凤凰架构:构建可靠的大型分布式系统》
笔记·分布式·架构·系统架构
郭涤生6 小时前
第二章:访问远程服务_《凤凰架构:构建可靠的大型分布式系统》
笔记·架构·系统架构