redis-原理篇-Dict

介绍

Redis是一个键值型（Key-Value Pair）的数据库，我们可以根据键实现快速的增删改查。而键与值的映射关系正是通过Dict来实现的。

Dict由三部分组成，分别是：哈希表（DictHashTable）、哈希节点（DictEntry）、字典（Dict）

哈希表结构：

cpp 复制代码

typedef struct dictht {
    // entry数组
    //数组中保存的是指向entry的指针
    dictEntry **table;
    //哈希表大小
    unsigned long size;
    // 哈希表大小的掩码，总等于size - 1
    unsigned long sizemask;
    //entry个数
    unsigned long used;
} dictht;

哈希节点结构：

cpp 复制代码

typedef struct dictEntry {
    void *key; // 键
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
        double d;
    } v; //值
    //下一个Entry的指针
    struct dictEntry *next;
} dictEntry;

当我们向Dict添加键值对时，Redis首先根据key计算出hash值（h），然后利用h & sizemask来计算元素应该存储到数组中的哪个索引位置。

字典结构：

cpp 复制代码

typedef struct dict {
    dictType *type；// dict类型，内置不同的hash函数
    void *privdata; //私有数据，在做特殊hash运算时用
    dictht ht[2］；// 一个Dict包含两个哈希表，其中一个是当前数据，另一个一般是空，rehash时使用
    long rehashidx; // rehash的进度，-1表示未进行
    intl6_t pauserehash；// rehash是否暂停，1则暂停，0则继续
} dict;

整体结构：

扩容

Dict中的HashTable就是数组结合单向链表的实现，当集合中元素较多时，必然导致哈希冲突增多，链表过长，则查询效率会大大降低。

Dict在每次新增键值对时都会检查负载因子 （LoadFactor=used/size），满足以下两种情况时会触发哈希表扩容：

哈希表的 LoadFactor >=1，并且服务器没有执行BGSAVE 或者BGREWRITEAOF 等后台进程
哈希表的 LoadFactor > 5

收缩

Dict除了扩容以外，每次删除元素时，也会对负载因子做检查，当LoadFactor<0.1 时，会做哈希表收缩

rehash

不管是扩容还是收缩，必定会创建新的哈希表，导致哈希表的size和sizemask变化，而key的查询与sizemask有关。因此必须对哈希表中的每一个key重新计算索引，插入新的哈希表，这个过程称为rehash 。过程是这样的：

①计算新hash表的realeSize，值取决于当前要做的是扩容还是收缩：

如果是扩容，则新size为第一个大于等于dict.ht $0$ .used+1的2^n
如果是收缩，则新size为第一个大于等于dict.ht $0$ .used的2^n（不得小于4)

②按照新的realeSize申请内存空间，创建dictht，并赋值给dict.ht $1$

③设置dict.rehashidx= 0，标示开始rehash

④将dict.ht $0$ 中的每一个dictEntry都rehash到dict.ht $1$

⑤将dict.ht $1$ 赋值给dict.ht $0$ ，给dict.ht $1$ 初始化为空哈希表，释放原来的dict.ht $0$ 的内存

渐进式rehash

Dict的rehash并不是一次性完成的。试想一下，如果Dict中包含数百万的entry，要在一次rehash完成，极有可能导致主线程阻塞。因此Dict的rehash是分多次、渐进式的完成，因此称为渐进式rehash。流程如下：

①计算新hash表的realeSize，值取决于当前要做的是扩容还是收缩：

如果是扩容，则新size为第一个大于等于dict.ht $0$ .used+1的2^n
如果是收缩，则新size为第一个大于等于dict.ht $0$ .used的2^n（不得小于4)

②按照新的realeSize申请内存空间，创建dictht，并赋值给dict.ht $1$

③设置dict.rehashidx= 0，标示开始rehash

④每次执行新增、查询、修改、删除操作时，都检查一下dict.rehashidx是否大于-1，如果是则将dict.ht $0$ .table $rehashidx$ 的entry链表rehash到dict.ht $1$ ，并且将rehashidx++。直至dict.ht $0$ 的所有数据都rehash到dict.ht $1$

⑤将dict.ht $1$ 赋值给dict.ht $0$ ，给dict.ht $1$ 初始化为空哈希表，释放原来的dict.ht $0$ 的内存

⑥将rehashidx赋值为-1，代表rehash结束

⑦在rehash过程中，新增操作，则直接写入ht $1$ ，查询、修改和删除则会在dict.ht $0$ 和dict.ht $1$ 依次查找并执行。这样可以确保ht $0$ 的数据只减不增，随着rehash最终为空