Redis原理篇(Dict的收缩扩容机制和渐进式rehash)

Dict(即字典)

Redis是一种键值型数据库,其中键与值的映射关系就是Dict实现的。

Dict通过三部分组成:哈希表(DictHashTable),哈希节点(DictEntry),字典(Dict)

其中哈希表的底层是数组(发生冲突时扩展成链表),用来存放哈希节点。

下面是哈希表和哈希节点的源码

首先看到dictht,即DictHashTable的缩写,下面是对其中属性的解释:

dictEntry **table是哈希表的数组,每个元素都是一个指向 dictEntry 结构体的指针。这里使用双指针 ** 的原因是为了实现动态数组。

size是哈希表的大小

sizemask是用来对键值进行与运算(与取余结果一致,但是用与运算更快)。

used是节点个数

然后看到dictEntry,是节点,下面是对其中属性的解释:

key是键很好理解;

union是一个联合函数,意思是v可以是{}里面的任意一个值。

注意:发生hash冲突时,新元素添加在链表首位,再让新元素的next指向原来的链表的头,这样比较方便,如果把新元素添加到链表尾部的话要对链表进行变量,很麻烦。

Dict的扩容

Dict是通过数组和单向链表实现的,当存放数据越来越多,导致大量的哈希冲突,使得链表长度过长,这样的话查询效率就大打折扣。出现这种情况的根本原因是数组小了,所有解决方案就是对数组进行扩容。

**负载因子 =**节点个数/数组大小

下面是包含扩容 的代码

Dict的收缩

除了扩容外,当出现频繁的删除造成entry个数较少,而数组大小过大的资源浪费的情况时,就需要对Dict进行收缩,收缩的条件是:

下面是Dict收缩的代码

可以看到收缩和扩容以及Dict初始化时都用到了dictExpand这个函数,主要的逻辑还是在这个函数里面的,所有我们来看看这个函数源码:

注意到这里有个rehash的操作,为什么要进行这个操作呢?

扩容和收缩不就是改变数组的大小吗?直接改不就行了?

显然,这样是不行的,因为Dict的删除,查询,更改都是要通过键值来找到对应entry的,当我数组的大小改变,那么我使用原来的hash函数运算得到的就不是原来的那个key了。

因为key的查询与sizemask有关,这个sizemask变化了,那么就当然得不到原本的那个key。

再注意到,这个dictExpand函数内部并没有进行具体的rehash的操作,

只是将rehashidx赋值为了0,

这个rehashidx还有印象吗?我帮忙回忆一下:

没错,就是这个rehash的进度。

那为什么不在dictExpand函数里面一次性将ht[0]全部赋值给ht[1]呢?

答案如下:

Rehash

但是渐进式rehash也有个问题,就是每次增删改查都只迁移一个entry链表(包含key对应的entry以及由hash冲突导致生成的链表),这个进度是比较缓慢的,那在增删改查的时候会遇到问题,因为此时数据在2张表里面,ht[0]和ht[1],怎么办?

其实也很简单,首先在新增的时候肯定是将新的entry给ht[1],因为要是写进了ht[0],到时候还是要给ht[1];

然后是删除,更改,查询,这两张表都访问一遍就行了。数据反正不在ht[0]就在ht[1]。

因为是使用指针这种数据结构,从ht[0]迁移到ht[1]就是改个指针指向的操作就行,很方便,并且改变了指针的指向后,ht[0]里面就查不到移走的那个entry链表了,不用考虑是否要在ht[0]里面删除一次再到ht[1]里面删除一次的问题。

这里有个演示可以看一下:

1.size是4,现在又第5个元素要加进来,并且后台没有进行resave等操作,开始进行扩容操作

2.现在元素个数是5,比5大一是6,第一个比6大的2的n次方是8,

申请内存空间,大小是8个entry赋值给ht[1]

3.把rehashidx赋值为0,表示可以开始rehash

4.在增删改查时发现rehashidx不是-1,就从ht[rehashidx]开始,一个一个迁移到ht[1]

5.迁移完毕后就将ht[1]下的新的hash表转移到ht[0],再将rehashidx赋值-1,还有size等属性也要更改,ht[1]的size,sizemask,used重新置为0,hash表置为null

至此,rehash完成

相关推荐
容器( ु⁎ᴗ_ᴗ⁎)ु.。oO2 分钟前
MySQL事务
数据库·mysql
cyt涛2 小时前
MyBatis 学习总结
数据库·sql·学习·mysql·mybatis·jdbc·lombok
Rookie也要加油2 小时前
01_SQLite
数据库·sqlite
liuxin334455662 小时前
教育技术革新:SpringBoot在线教育系统开发
数据库·spring boot·后端
看山还是山,看水还是。3 小时前
MySQL 管理
数据库·笔记·mysql·adb
fishmemory7sec3 小时前
Koa2项目实战2(路由管理、项目结构优化)
数据库·mongodb·koa
momo小菜pa3 小时前
【MySQL 09】表的内外连接
数据库·mysql
Jasonakeke3 小时前
【重学 MySQL】四十九、阿里 MySQL 命名规范及 MySQL8 DDL 的原子化
数据库·mysql
程序猿小D3 小时前
第二百六十九节 JPA教程 - JPA查询OrderBy两个属性示例
java·开发语言·数据库·windows·jpa
小宇成长录4 小时前
Mysql:数据库和表增删查改基本语句
数据库·mysql·数据库备份