Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
Galaxy在掘金25 分钟前
从业8年,谈谈我认知的后端架构之路-1
java·架构
还是大剑师兰特2 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
天波信息技术分享2 小时前
AI 云电竞游戏盒子:从“盒子”到“云-端-芯”一体化竞技平台的架构实践
人工智能·游戏·架构
k↑4 小时前
微服务之注册中心与ShardingSphere关于分库分表的那些事
数据库·微服务·架构·shardingsphere
189228048615 小时前
NY243NY253美光固态闪存NY257NY260
大数据·网络·人工智能·缓存
武子康6 小时前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
Tadas-Gao7 小时前
Java设计模式全景解析:从演进历程到创新实践
java·开发语言·微服务·设计模式·云原生·架构·系统架构
CCF_NOI.7 小时前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变
杨荧7 小时前
基于Python的电影评论数据分析系统 Python+Django+Vue.js
大数据·前端·vue.js·python
数据智研8 小时前
【数据分享】上市公司创新韧性数据(2007-2023)
大数据·人工智能