Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
胡斌附体21 分钟前
微服务调试问题总结
java·微服务·架构·调试·本地·夸微服务联调
IvanCodes40 分钟前
九、HQL DQL七大查询子句
大数据·数据库·hive
互联网搬砖老肖1 小时前
Web 架构之状态码全解
前端·架构
yyywoaini~1 小时前
spark数据压缩
spark
只因只因爆1 小时前
spark数据清洗
大数据·分布式·spark
zc.z2 小时前
微服务如何实现服务的高并发
数据库·微服务·架构
why1512 小时前
微服务商城(1)开篇、服务划分
微服务·云原生·架构
mini榴莲炸弹2 小时前
Spark的基本介绍
spark
sunxunyong2 小时前
yarn任务筛选spark任务,判断内存/CPU使用超过限制任务
javascript·ajax·spark
好吃的肘子3 小时前
ElasticSearch进阶
大数据·开发语言·分布式·算法·elasticsearch·kafka·jenkins