Spark架构都有那些组件

Spark组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和cluster Manager集群管理器这个三个架构组件

其中driver驱动器主要负责spark执行Excutor的任务分配。

Excutor执行器猪獒就是负责将被分配到的task任务进行处理

claster manager管理有多钟:

第一种的spark自带的的集群管理,叫做standalone。

第二种是spark on yarn,就是将任务字段给到apache yarn进行资源调度管理。

第三种是spark on meoss,meoss是一种类似于yarn的集群资源管理,在国外用的比较常见。

相关推荐
JavaTalks32 分钟前
高并发保护实战:限流、熔断、降级如何配合落地
后端·架构·设计
兆子龙3 小时前
别再用 useState / data 管 Tabs 的 activeKey 了:和 URL 绑定才香
前端·架构
葫芦的运维日志3 小时前
Higress鉴权限流插件架构深度解析
架构
绝无仅有3 小时前
Redis过期删除与内存淘汰策略详解
后端·面试·架构
武子康3 小时前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
绝无仅有3 小时前
Redis大Key问题排查与解决方案全解析
后端·面试·架构
兆子龙4 小时前
WebSocket 入门:是什么、有什么用、脚本能帮你做什么
前端·架构
大大大大晴天4 小时前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
袋鼠云数栈UED团队19 小时前
基于 Lexical 实现变量输入编辑器
前端·javascript·架构
兆子龙21 小时前
像 React Hook 一样「自动触发」:用 Git Hook 拦住忘删的测试代码与其它翻车现场
前端·架构