Hadoop High Availability 简介

目录

引入HA

针对HDFS的高可用

核心组件

故障转移流程

针对YARN的高可用

核心组件

故障转移流程


引入HA

在早期的Hadoop版本中,核心组件存在单点故障问题:

HDFS:NameNode是唯一的主节点,存储了整个文件系统的元数据。如果它宕机,那么整个HDFS将不可用。

YARN:ResourceManager是唯一的全局资源调度器。如果它宕机,所有新的作业无法提交,正在运行中的作业也可能失败。

为了解决单点故障问题,就需要部署备用主节点,来确保集群在主节点发生故障时能够快速恢复,对外提供不间断的服务,这正是高可用的目的。所谓高可用,是为解决单点故障设计的架构方案。

针对HDFS的高可用

HDFS HA通过配置Active-Standby(主-备)两个NameNode来实现高可用,其中主要通过QJM方式来实现状态同步。

核心组件

Active NameNode:对外提供服务的主节点,处理客户端的请求。

Standby NameNode:热备份节点。它的状态必须与Active NameNode实时同步,以便在发生故障时能够无缝衔接。

JournalNode :通常3个活以上奇数个来组成共享存储系统。所有对namespace的修改,Active NN都会先将操作日志(editslog)写入共享存储,然后Standby NN持续地从其中读取并应用这些日志。
DataNode:所有DataNode通过心跳机制向Active NN和Standby NN发送心跳和块报告,所以数据块存储在哪个DN上不需要同步到共享存储中。

ZKFC(Zookeeper Failover Controller):一个运行在每个NN节点上的独立进程,用于监控NN的健康状态并管理故障转移。

故障转移流程

①Active NN的ZKFC检测到Active节点无响应,尝试在zookeeper中删除该临时节点;

②Standby NN的ZKFC监控到这个节点消失,立即尝试创建该节点以宣告自己为新的Active;

③创建成功后,Standby NN的ZKFC会执行一个fence(隔离)命令,强制杀死原Active进程,防止出现脑裂;

④新Active NN从JournalNode中读取编辑日志,并开始接收DN的心跳和块报告;

⑤客户端通过重试机制自动连接新Active,业务无感知。

针对YARN的高可用

YARN HA 的原理与 HDFS HA 非常相似,也是基于 Active-Standby 模式和 ZooKeeper 的自动故障转移。

核心组件

Active ResourceManager:处理所有客户端的请求,管理整个集群的资源。

Standby ResourceManager:热备份节点,随时准备接管。

状态存储:将RM的状态持久化(状态信息)存储在zookeeper中或HDFS文件。

ZooKeeper:用于领导选举和存储YARN集群的状态。多个RM通过竞争,一个成为Active,其余成为Standby

故障转移流程

①zookeeper检测到Active ResourceManager故障,相关临时节点被删除;

②所有Standby ResourceManager监测到这一变化,开始新一轮的选举;

③其中一个Standby RM成功在zookeeper创建了代表Active状态的临时节点,成为新的Active RM;

④新的Active RM从状态存储(ZK或HDFS)中重演出故障前的集群状态;

⑤所有NM会通过心跳机制发现Active RM变更,向新王重新注册;所有运行在container的applicationmaster也会重新注册并汇报任务状态,不受影响。

相关推荐
AI源码1 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据1 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
AI源码2 小时前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
wuyk55515 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界19 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)20 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯1 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台1 天前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统1 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天2 天前
每天认识一个组件:VictoriaMetrics
大数据