Spark主备切换了解么

如果是在 spark standalone集群模式下,也就是使用spark自带的集群管理模式,那么spark的master阶段管理worker的资源分配,为防止master主节点宕机导致,可以对master节点进行高可用设置。

也就是备份几个stand master节点。实现主要是通过zookeper的选择机制进行主节点的选取,其中另外一个比较关键的步骤就需要进行状态持久化,mater节点了持久化当前集群的元数据到zookeeper。

在master节点出现异常的情况下,zookeeper可以通过选取机制选取到新的主节点,然后主节点将从zookeepe获取到最新持久化的元数据;

如果是spark yarn模式的话,就按按yarn的高可用方式就可以了。

相关推荐
说私域12 分钟前
定制开发开源AI智能名片S2B2C商城小程序:技术赋能商业价值实现路径研究
大数据·人工智能·小程序·开源
Elastic 中国社区官方博客1 小时前
Elasticsearch:使用机器学习生成筛选器和分类标签
大数据·人工智能·elasticsearch·机器学习·搜索引擎·ai·分类
清风19811 小时前
kafka消息可靠性传输语义
数据库·分布式·kafka
小诸葛的博客1 小时前
Kafka、RocketMQ、Pulsar对比
分布式·kafka·rocketmq
zhangjin12221 小时前
kettle插件-postgresql插件
大数据·postgresql·etl·kettle cdc·kettle插件·kettle实时数据同步
数据智能老司机3 小时前
CockroachDB权威指南——SQL调优
数据库·分布式·架构
数据智能老司机3 小时前
CockroachDB权威指南——应用设计与实现
数据库·分布式·架构
天氰色等烟雨3 小时前
Flink 1.20 Kafka Connector:新旧 API 深度解析与迁移指南
大数据
数据智能老司机3 小时前
CockroachDB权威指南——CockroachDB 模式设计
数据库·分布式·架构
数据智能老司机1 天前
CockroachDB权威指南——CockroachDB SQL
数据库·分布式·架构