什么是一致性 Hash 算法?——Java全栈知识(11)

什么是一致性 Hash 算法?

哈希算法大家都不陌生,经常被用在负载均衡、分库分表等场景中,比如说我们在做分库分表的时候,最开始我们根据业务预估,把数据库分成了 128 张表,这时候要插入或者查询一条记录的时候,我们就会先把分表键,如 buyer_id 进行 hash 运算,然后再对 128 取模,得到 0-127 之间的数字,这样就可以唯一定位到一个分表。

但是随着业务得突飞猛进,128 张表,已经不够用了,这时候就需要重新分表,比如增加一张新的表。这时候如果采用 hash 或者取模的方式,就会导致 128+1 张表的数据都需要重新分配,成本巨高。
一致性哈希 (Consistent Hashing)是一种用于分布式系统中数据分片和负载均衡的算法。它的目标是在节点的动态增加或删除时,尽可能地减少数据迁移和重新分布的成本。

1、如何实现?

首先我们需要一个 2^32 大小的环(虚拟)。

然后我们将我们需要的分表映射到上面。

之后我们在插入数据的时候使用 hash 算法计算值之后取模取模 2^32 。最后得出的值对应在环的位置,该位置是哪一张表就插入到哪一张表中。

2、有什么好处

可以解决两个问题:

2.1、分表之后扩容

当我们在业务初期没有预估到有大量的数据量,初期的分表数量已经不够了怎么办?

此时如果我们使用的是一般的 Hash 取模算法,那么就需要把所有的数据都进行一边 Hash 取模,消耗极大。

一致性 Hash 算法就能很好的解决这个问题。

如下:

加入我们有 0-127 这 128 张表,我们想再添加一张表怎么办?

我们直接在 hash 环上的 table_0000 和 table_0127 之间添加一个新的节点 table_0128 然后将这两个表中的数据重新计算 hash 值之后映射到三个新的表中即可。

2.2、数据倾斜

我们在分表中不可避免遇到的问题就是数据倾斜。

数据倾斜是指在分布式计算或数据库环境中,数据分布不均匀的现象。在理想的分布式系统中,数据和计算负载应该均匀分布在所有节点上。然而,由于各种原因,某些节点可能承载比其他节点更多的数据或计算负载,这就是数据倾斜。

也就是说某个表中由于分片算法的原因导致存储了大量的数据。

这样会给整个系统造成很大的性能瓶颈。

此时,我们能做的就是进行二次分表,我们的一致性 Hash 算法就可以很好的解决这个问题。

也就是上述解决扩容的解决方法,在数据量大的表的位置添加一个新的表,然后重新计算 hash 值映射即可。

其次,我们也可以在不新增表的情况下处理数据倾斜,如图:

原本分表 2 和分表 3 之间的数据都是存储在分表 3 中的,此时我们可以在 2 和 3 之间新增一个虚拟的节点, 该虚拟节点可以指向任意一个节点,然后把该虚拟节点中的数据都存储在指向的新节点中也就是其他的分表中。

这样可以有效的解决数据倾斜问题。

相关推荐
瓯雅爱分享3 小时前
Java+Vue构建的采购招投标一体化管理系统,集成招标计划、投标审核、在线竞价、中标公示及合同跟踪功能,附完整源码,助力企业实现采购全流程自动化与规范化
java·mysql·vue·软件工程·源代码管理
mit6.8246 小时前
[C# starter-kit] 命令/查询职责分离CQRS | MediatR |
java·数据库·c#
诸神缄默不语6 小时前
Maven用户设置文件(settings.xml)配置指南
xml·java·maven
任子菲阳6 小时前
学Java第三十四天-----抽象类和抽象方法
java·开发语言
学Linux的语莫6 小时前
机器学习数据处理
java·算法·机器学习
找不到、了6 小时前
JVM的即时编译JIT的介绍
java·jvm
西瓜er7 小时前
JAVA:Spring Boot 集成 FFmpeg 实现多媒体处理
java·spring boot·ffmpeg
你总是一副不开心的样子(´ . .̫ .7 小时前
一、十天速通Java面试(第三天)
java·面试·职场和发展·java面试
迎風吹頭髮7 小时前
UNIX下C语言编程与实践63-UNIX 并发 Socket 编程:非阻塞套接字与轮询模型
java·c语言·unix
我是华为OD~HR~栗栗呀7 小时前
23届考研-Java面经(华为OD)
java·c++·python·华为od·华为·面试