HBase节点故障的容错方案

HBase节点故障的容错方案

  • [1. Master高可用](#1. Master高可用)
    • [1.1 选主和HA切换逻辑](#1.1 选主和HA切换逻辑)
  • [2. RS高可用](#2. RS高可用)
    • [2.1 感知RS节点异常](#2.1 感知RS节点异常)
    • [2.2 异常DN上的数据处理](#2.2 异常DN上的数据处理)
  • [4. 疑问和思考](#4. 疑问和思考)
  • [5. 参考文档](#5. 参考文档)

本文主要探讨hbase集群的高可用容错方案和容错能力的探讨。涉及Master和RS相关组件,在出现单机故障时相关的容错方案。

更多关于分布式系统的架构思考请参考文档关于常见分布式组件高可用设计原理的理解和思考

1. Master高可用

1.1 选主和HA切换逻辑

Master的HA机制主要依靠zk完成。整体的逻辑跟HDFS的NN逻辑整体上一致,也略有差别,可以参考 HDFS节点故障的容错方案

相同点

1, Master使用zk的临时锁节点进行选主

2,其他节点的watch机制跟hdfs的逻辑也一致

不同点

1, Master没有另外涉及zkfc辅助选主,而是Master自己完成了相关的逻辑

2,Master集群没有涉及fencing逻辑。

2. RS高可用

RS节点是具体的数据存储节点,HBase通常依赖hdfs进行数据存储,包括wal日志等基础原数据存储等。由于hdfs本身能够提供高可用,并且能够提供远程存储能力,因此1个RS写入的数据(包括wal日志)等能够在另外一个RS中进行数据回放。

由于HBase本身没有直接跟磁盘进行交互,因此底层的磁盘io等信息被hdfs隔离,因此hdfs的读写、存储能力直接影响HBase的性能。

2.1 感知RS节点异常

1,RS在zk中注册临时路径(/hbase/rs),如果RS节点异常,在ttl时间(默认 3min)后临时节点会被zk删除。

2, Master通过watch机制监听rs的相关路径,RS在zk中注册的临时路径过期后被删除,zk会将相关事件通知Master

2.2 异常DN上的数据处理

Master感知到RS异常后,会将RS上的Region信息迁移到其他的RS,并将wal日志在对应的RS节点进行回放,从而确保数据不丢失。

4. 疑问和思考

暂无

5. 参考文档

暂无

相关推荐
fen_fen40 分钟前
Oracle建表语句示例
数据库·oracle
易营宝43 分钟前
多语言网站建设避坑指南:既要“数据同步”,又能“按市场个性化”,别踩这 5 个坑
大数据·人工智能
fanstuck1 小时前
从0到提交,如何用 ChatGPT 全流程参与建模比赛的
大数据·数学建模·语言模型·chatgpt·数据挖掘
春日见1 小时前
vscode代码无法跳转
大数据·人工智能·深度学习·elasticsearch·搜索引擎
萤丰信息2 小时前
AI 筑基・生态共荣:智慧园区的价值重构与未来新途
大数据·运维·人工智能·科技·智慧城市·智慧园区
砚边数影2 小时前
数据可视化入门:Matplotlib 基础语法与折线图绘制
数据库·信息可视化·matplotlib·数据可视化·kingbase·数据库平替用金仓·金仓数据库
orange_tt2 小时前
Djiango配置Celery
数据库·sqlite
云小逸3 小时前
【nmap源码学习】 Nmap网络扫描工具深度解析:从基础参数到核心扫描逻辑
网络·数据库·学习
肉包_5113 小时前
两个数据库互锁,用全局变量互锁会偶发软件卡死
开发语言·数据库·c++
霖霖总总4 小时前
[小技巧64]深入解析 MySQL InnoDB 的 Checkpoint 机制:原理、类型与调优
数据库·mysql