Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
eqwaak01 小时前
基于Spring Cloud Alibaba的电商系统微服务化实战:从零到生产级部署
java·分布式·微服务·云原生·架构
24k小善2 小时前
Flink Oceanbase Connector详解
java·大数据·flink
碳基学AI2 小时前
厦大团队|报告:《读懂大模型概念、技术与应用实践》140 页 PPT(文末附链接下载)
大数据·人工智能·深度学习·机器学习·ai·知识图谱
晴空下小雨.4 小时前
vm+centos虚拟机
spark
栈老师不回家4 小时前
MapStruct 对象转换工具【DDD 架构】
架构
caihuayuan44 小时前
SpringCloud之Eureka、Ribbon、OpenFeign
java·大数据·sql·spring·课程设计
xiaosenyouli4 小时前
政务信息化项目命名有什么门道?
大数据·人工智能
找方案4 小时前
陕西省地标-DB61/T 1121-2018 政务服务中心建设和运营规范
大数据·政务
找方案4 小时前
黑龙江省地标-DB31/T 862-2021 “一网通办”政务服务中心建设和运行规范
大数据·人工智能·政务