Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
zandy10115 小时前
Agentic BI 架构实战:当AI Agent接管数据建模、指标计算与可视化全链路
人工智能·架构
小王毕业啦6 小时前
2005-2024年 省级-总抚养比、儿童抚养比、老年人抚养比数据(xlsx)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
2501_927283587 小时前
荣联汇智助力天津艺虹打造“软硬一体”智慧工厂,全流程自动化引领印刷包装行业数智变革
大数据·运维·数据仓库·人工智能·低代码·自动化
薪火铺子8 小时前
微服务认证方案对比与选型
微服务·云原生·架构
还是奇怪9 小时前
AI 提示词工程入门:用好的语言与模型高效对话
大数据·人工智能·语言模型·自然语言处理·transformer
运维全栈笔记9 小时前
K8S部署Redis高可用全攻略:1主2从3哨兵架构实战
redis·docker·云原生·容器·架构·kubernetes·bootstrap
Data_Journal10 小时前
如何使用cURL更改User Agent
大数据·服务器·前端·javascript·数据库
weixin_4462608510 小时前
城市智能化的底层基石:基于腾讯地图服务生态的移动定位与导航架构指引
大数据·人工智能·架构
qq_2837200511 小时前
Vibe Coding 氛围编程入门教程:AI 时代的全新开发范式(零基础到实战)
大数据·人工智能
Volunteer Technology11 小时前
ES并发控制
大数据·elasticsearch·搜索引擎