Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
zdkdchao6 小时前
hbase资源和数据权限控制
大数据·数据库·hbase
归去_来兮6 小时前
知识图谱技术概述
大数据·人工智能·知识图谱
互联网搬砖老肖6 小时前
Web 架构相关文章目录(持续更新中)
架构
计算机毕设定制辅导-无忧学长6 小时前
Kafka 核心架构与消息模型深度解析(二)
架构·kafka·linq
计算机毕设定制辅导-无忧学长6 小时前
Kafka 核心架构与消息模型深度解析(一)
分布式·架构·kafka
yt948327 小时前
如何在IDE中通过Spark操作Hive
ide·hive·spark
青春之我_XP7 小时前
【基于阿里云搭建数据仓库(离线)】Data Studio创建资源与函数
大数据·数据仓库·sql·dataworks·maxcompute·data studio
Mikhail_G9 小时前
Python应用函数调用(二)
大数据·运维·开发语言·python·数据分析
黑客笔记10 小时前
攻防世界-XCTF-Web安全最佳刷题路线
大数据·安全·web安全
shepherd11110 小时前
一文带你从入门到实战全面掌握RocketMQ核心概念、架构部署、实践应用和高级特性
架构·消息队列·rocketmq