Spark主备切换了解么

如果是在 spark standalone集群模式下,也就是使用spark自带的集群管理模式,那么spark的master阶段管理worker的资源分配,为防止master主节点宕机导致,可以对master节点进行高可用设置。

也就是备份几个stand master节点。实现主要是通过zookeper的选择机制进行主节点的选取,其中另外一个比较关键的步骤就需要进行状态持久化,mater节点了持久化当前集群的元数据到zookeeper。

在master节点出现异常的情况下,zookeeper可以通过选取机制选取到新的主节点,然后主节点将从zookeepe获取到最新持久化的元数据;

如果是spark yarn模式的话,就按按yarn的高可用方式就可以了。

相关推荐
kngines12 分钟前
【实战 ES】实战 Elasticsearch:快速上手与深度实践-2.1.2字段类型选择:keyword vs text、nested对象
大数据·elasticsearch·搜索引擎
顾北辰201 小时前
分布式中间件:Redis介绍
redis·分布式·中间件
月亮给我抄代码1 小时前
Flink性能指标详解MetricsAnalysis
大数据·flink
橘猫云计算机设计2 小时前
基于微信小程序的疫情互助平台(源码+lw+部署文档+讲解),源码可白嫖!
java·大数据·开发语言·spring boot·微信小程序·小程序·汽车
冰火同学2 小时前
简述Spark的宽窄依赖以及Stage是怎么划分的以及每个stage又是怎么划分task任务数
大数据·分布式·spark
weixin_307779132 小时前
PySpark实现获取Cloud Storage上Parquet文件的数据结构,并自动在Google BigQuery里建表和生成对应的建表和导入数据的SQL
数据仓库·python·spark·云计算·googlecloud
尘世壹俗人2 小时前
spark写数据库用连接池找不到driver类
大数据·数据库·spark
WeiLai11122 小时前
面试基础---Spring Cloud微服务负载均衡架构
spring boot·分布式·后端·spring·spring cloud·面试·架构
Dragon--Z3 小时前
本地部署大数据集群前置准备
大数据·linux·服务器
怪咖码农3 小时前
RabbitMQ怎么实现延时支付?
java·分布式·rabbitmq