Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
JienDa2 小时前
JienDa聊PHP:小红书仿站实战深度架构全解析
开发语言·架构·php
沃达德软件5 小时前
智慧警务图像融合大数据
大数据·图像处理·人工智能·目标检测·计算机视觉·目标跟踪
陈奕昆8 小时前
n8n实战营Day3:电商订单全流程自动化·需求分析与流程拆解
大数据·开发语言·人工智能·自动化·需求分析·n8n
im_AMBER8 小时前
Canvas架构手记 05 鼠标事件监听 | 原生事件封装 | ctx 结构化对象
前端·笔记·学习·架构
JienDa8 小时前
JienDa聊PHP:电商实战中主流PHP框架的协同策略与架构优化
开发语言·架构·php
JienDa8 小时前
JienDa聊PHP:起卦、卜卦平台实战中PHP框架的协同架构方略
开发语言·架构·php
semantist@语校9 小时前
第五十一篇|构建日本语言学校数据模型:埼玉国际学院的城市结构与行为变量分析
java·大数据·数据库·人工智能·百度·ai·github
赵渝强老师9 小时前
【赵渝强老师】阿里云大数据集成开发平台DataWorks
大数据·阿里云·云计算
xieyan08119 小时前
卖出与止损策略
大数据
yumgpkpm9 小时前
腾讯TBDS和Cloud Data AI CMP 比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·spark·kafka·hbase