使用一致性哈希解决哈希分片负载均衡的扩展性问题

声明:本文的图全部源于:小林coding

上来咱先说,一致性哈希是应对分布式系统的算法

假设有一个负载均衡问题,也就是大批流量来请求,那怎么分配这些流量?

随机?还是挨个轮询?

这都可以,甚至不同机器的配置不同,可以根据配置分配权重,然后分发流量

但是流量可以如此,数据呢?有亿级数据,如何拆分,使得访问请求不会造成数据库崩掉?

通常来讲可以范围分片或者哈希分片,将数据拆分到不同的存储节点上去。假定选择ID,那有可能热点数据集中到同一张表里了,没起到分摊访问数据库流量的作用。哈希分片确实是一种可以均匀分散数据到不同节点上的算法。举个例子:

但哈希分片有一个致命问题,那就是扩展性不好,假设新增节点或者删除节点都要重新计算全部数据的哈希索引,也就是全量数据迁移:

解决方案也有,那就是一致性哈希,一致哈希算法是对 2^32 进行取模运算,是一个固定的值。可以想象有一个圈,存储节点做哈希,比如根据节点的 IP 地址进行哈希。然后数据也做哈希,然后顺时针找到的第一个存储节点就是这个数据被分到的存储节点:

这样不论是新增节点还是删除节点都可以只迁移部分数据了:

这样虽然解决了扩展性问题,但是难保会有存储节点映射不均匀的情况发生:

引入更多节点就可以把这个圆环更好的分割了,那么就可以将数据均匀的分散了,可是我们没有那么多机器啊,怎么增多存储节点?
答案就是引入虚拟节点,映射到圆环上的是虚拟节点,而每个真实节点可以被若干虚拟节点映射到:

当某个真实节点被移除时,该节点的多个虚拟节点均会移除。

还可以为硬件配置更好的节点增加权重,比如对权重更高的节点增加更多的虚拟机节点。

相关推荐
青少儿编程课堂5 分钟前
蓝桥杯青少组图形化省考报名倒计时·全国青少年信息素养大赛·电子学会图形化考级:校园黑白棋人机对战解析
c++·python·算法·bfs·信息学竞赛
jktantan1 小时前
注解式脱敏:用 Jackson 的 ContextualSerializer 做字段级策略(一)
spring boot·后端·算法·spring cloud·系统架构
Dream it possible!14 小时前
LeetCode 面试经典 150_多维动态规划_交错字符串(97_C++_中等)
算法·leetcode·面试·动态规划
心抵鹊14 小时前
算法之双指针系列(一)
算法·leetcode
十二14 小时前
【洛谷题解】P1083 [NOIP 2012 提高组] 借教室(二分答案 + 差分)
数据结构·c++·算法·蓝桥杯
小此方15 小时前
[算法实战论:动态规划]回文串问题的dp解法,回文串问题的母题,以及以此为基础的派生题
算法·动态规划
Pniubi16 小时前
力扣560.和为k的子数组
算法·leetcode·职场和发展
D e re k ZH16 小时前
C++ 从零入门(一):基础语法与程序结构
数据结构·c++·算法
Pniubi17 小时前
力扣438.找到字符串中所有字母异位词
算法·leetcode·职场和发展
東隅已逝,桑榆非晚19 小时前
算法6. 双指针法-查找总价格为目标的两个商品
c++·学习·算法