Spark主备切换了解么

如果是在 spark standalone集群模式下,也就是使用spark自带的集群管理模式,那么spark的master阶段管理worker的资源分配,为防止master主节点宕机导致,可以对master节点进行高可用设置。

也就是备份几个stand master节点。实现主要是通过zookeper的选择机制进行主节点的选取,其中另外一个比较关键的步骤就需要进行状态持久化,mater节点了持久化当前集群的元数据到zookeeper。

在master节点出现异常的情况下,zookeeper可以通过选取机制选取到新的主节点,然后主节点将从zookeepe获取到最新持久化的元数据;

如果是spark yarn模式的话,就按按yarn的高可用方式就可以了。

相关推荐
武子康11 小时前
大数据-184 Elasticsearch Doc Values 机制详解:列式存储如何支撑排序/聚合/脚本
大数据·后端·elasticsearch
expect7g12 小时前
Paimon源码解读 -- Compaction-8.专用压缩任务
大数据·后端·flink
良策金宝AI14 小时前
从CAD插件到原生平台:工程AI的演进路径与智能协同新范式
大数据·人工智能
康实训14 小时前
智慧老年实训室建设核心方案
大数据·实训室·养老实训室·实训室建设
min18112345614 小时前
分公司组织架构图在线设计 总部分支管理模板
大数据·人工智能·信息可视化·架构·流程图
周杰伦_Jay15 小时前
【Elasticsearch】核心概念,倒排索引,数据操纵
大数据·elasticsearch·搜索引擎
cai_cai015 小时前
springAlibaba + ollama + es 完成RAG知识库功能
大数据·elasticsearch·搜索引擎
Cx330❀15 小时前
Git 分支管理完全指南:从基础到团队协作
大数据·git·搜索引擎·全文检索
nhdh15 小时前
ELK(elasticsearch-7.6.2,kibana-7-6-2,Logstash-7.6.2)单节点部署
大数据·elk·elasticsearch