3分钟,跟着Redist Cluster搞懂分布式协议

前面几篇学习了分布式的几大协议,强一致性的Raft,最终一致性的Gossip,用于负载均衡的一致性哈希及具体实现等等。本篇我们结合Redis Cluster聊聊分布式协议的具体落地实践。

Redis Cluster 概要

Redis Cluster是Redis 分布式部署的方案,它可以自动将数据集通过分片分布在多个Redis节点之间,同时支持动态扩容缩容,并提供故障转移等高可用解决方案。

数据分片--类一致性哈希

如果不了解一致性哈希的,可以看看(图文并茂,讲透一致性哈希,负载均衡绝招 - 掘金 (juejin.cn))

我们知道,Redis Cluster是去中心化的。不同节点存储不同的数据,这必定涉及到分片算法。下面看实现:

Redis Cluster的整个数据分为16384个哈希槽,数据一定属于16384个哈希槽的其中一个,同时一个节点管理一部分哈希槽。所以Redis Cluster实现分片的步骤如下

  1. 通过crc16() 对 Key ,计算出一个 16bit的值
  2. 将16bit值对16384取模
  3. 取模的结果就是数据分布的哈希槽,然后查询出负责该槽位的 Redis节点,进行存储。

大致如下图

怎么说,是不是有点一致性哈希的味道。不对啊,那对应的虚拟节点呢??

其实在集群中,Redis的某一个节点,它可以管理多个范围的哈希槽。比如 某一结点指定负责 0~5461,10922 ~ 14382两部分哈希槽。这不就是 虚拟节点的效果吗🤗🤗。

但要注意,Redis官方也表示没有采用一致性哈希算法,而是借鉴了一致性哈希的思想

高可用选举和信息传播(类Raft和Gossip)

一般Redis集群部署的每个主节点,都会有从节点,以便主节点宕机故障转移。如下图

第一个问题,Redis Cluster如何确定一个master宕机下线? (以上图 MasterA为例)

等等,这不就是一个分布式共识问题吗,由于Redis Cluster是去中心化的,而且要保证可用必须牺牲一致性。根据前面文章的介绍,兼有去中心化和最终一致性两个特点的共识算法 当然是 Gossip协议啦。 关于Gossip可以参考(言简意赅--聊聊分布式Gossip协议 - 掘金 (juejin.cn))

所以Redis使用Gossip协议两两节点交换信息以便来广播自己的状态,如果一个节点发现 某一主节点 例如 master A失联了,则向集群中广播该节点失联。最后确定此masterA下线。

第二个问题,如和在从节点列表选举一个新的主节点

当 slave A2,slave A3发现自己 master A宕机后,便成为候选人,然后向整个集群中发起选举。当一个slave收到大多数节点投票,就成为新的 masterA。 Raft选举可以参考 我之前写的(言简意赅--聊聊Raft协议 - 掘金 (juejin.cn))

总结

Redis Cluster 通过一致性哈希的思想,实现高效的数据分片。通过Gossip协议进行节点之间的健康检查,通过Raft的选举实现了故障转移,保证了可用性。

市面上分布式组件成百上千,但核心还是那几套协议,一致性协议,选举协议,负载均衡协议等等。

我是爱聊技术的山人,大伙下期再见😊😊😊😊

相关推荐
一 乐1 小时前
学籍管理平台|在线学籍管理平台系统|基于Springboot+VUE的在线学籍管理平台系统设计与实现(源码+数据库+文档)
java·数据库·vue.js·spring boot·后端·学习
极客先躯2 小时前
Hadoop krb5.conf 配置详解
大数据·hadoop·分布式·kerberos·krb5.conf·认证系统
CopyLower3 小时前
Kafka 消费者状态及高水位(High Watermark)详解
分布式·kafka
艾伦~耶格尔4 小时前
Spring Boot 三层架构开发模式入门
java·spring boot·后端·架构·三层架构
man20174 小时前
基于spring boot的篮球论坛系统
java·spring boot·后端
攸攸太上5 小时前
Spring Gateway学习
java·后端·学习·spring·微服务·gateway
2301_786964365 小时前
3、练习常用的HBase Shell命令+HBase 常用的Java API 及应用实例
java·大数据·数据库·分布式·hbase
罗曼蒂克在消亡5 小时前
graphql--快速了解graphql特点
后端·graphql
潘多编程5 小时前
Spring Boot与GraphQL:现代化API设计
spring boot·后端·graphql
大神薯条老师6 小时前
Python从入门到高手4.3节-掌握跳转控制语句
后端·爬虫·python·深度学习·机器学习·数据分析