Spark主备切换了解么

如果是在 spark standalone集群模式下,也就是使用spark自带的集群管理模式,那么spark的master阶段管理worker的资源分配,为防止master主节点宕机导致,可以对master节点进行高可用设置。

也就是备份几个stand master节点。实现主要是通过zookeper的选择机制进行主节点的选取,其中另外一个比较关键的步骤就需要进行状态持久化,mater节点了持久化当前集群的元数据到zookeeper。

在master节点出现异常的情况下,zookeeper可以通过选取机制选取到新的主节点,然后主节点将从zookeepe获取到最新持久化的元数据;

如果是spark yarn模式的话,就按按yarn的高可用方式就可以了。

相关推荐
还是大剑师兰特5 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
yh云想7 小时前
《从入门到精通:Kafka核心原理全解析》
分布式·kafka
189228048618 小时前
NY243NY253美光固态闪存NY257NY260
大数据·网络·人工智能·缓存
武子康9 小时前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
CCF_NOI.10 小时前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变
杨荧10 小时前
基于Python的电影评论数据分析系统 Python+Django+Vue.js
大数据·前端·vue.js·python
数据智研11 小时前
【数据分享】上市公司创新韧性数据(2007-2023)
大数据·人工智能
ModelWhale12 小时前
“大模型”技术专栏 | 浅谈基于 Kubernetes 的 LLM 分布式推理框架架构:概览
分布式·kubernetes·大模型
愿天堂没有C++12 小时前
C++——分布式
分布式
UPToZ12 小时前
【Docker】搭建一个高性能的分布式对象存储服务 - MinIO
分布式·docker·容器