Spark主备切换了解么

如果是在 spark standalone集群模式下,也就是使用spark自带的集群管理模式,那么spark的master阶段管理worker的资源分配,为防止master主节点宕机导致,可以对master节点进行高可用设置。

也就是备份几个stand master节点。实现主要是通过zookeper的选择机制进行主节点的选取,其中另外一个比较关键的步骤就需要进行状态持久化,mater节点了持久化当前集群的元数据到zookeeper。

在master节点出现异常的情况下,zookeeper可以通过选取机制选取到新的主节点,然后主节点将从zookeepe获取到最新持久化的元数据;

如果是spark yarn模式的话,就按按yarn的高可用方式就可以了。

相关推荐
weixin_307779132 小时前
PySpark实现ABC_manage_channel逻辑
开发语言·python·spark
小马爱打代码10 小时前
SpringBoot原生实现分布式MapReduce计算
spring boot·分布式·mapreduce
瞎胡侃10 小时前
Spark读取Apollo配置
大数据·spark·apollo
悻运10 小时前
如何配置Spark
大数据·分布式·spark
懒惰的橘猫11 小时前
Spark集群搭建之Yarn模式
大数据·分布式·spark
2401_8242568611 小时前
Spark-Streaming
大数据·分布式·spark
胡耀超11 小时前
附1:深度解读:《金融数据安全 数据安全分级指南》——数据分类的艺术专栏系列
大数据·金融·数据治理·生命周期·数据分类·政策法规
合新通信 | 让光不负所托11 小时前
【合新通信】浸没式液冷光模块与冷媒兼容性测试技术报告
大数据·网络·光纤通信
元63311 小时前
spark和hadoop之间的对比和联系
大数据·hadoop·spark
cooldream200912 小时前
深入解析大数据的Lambda架构:设计、特点与应用场景
大数据·架构·系统架构师