Redis原理篇——Redis数据结构

Redis原理篇

1、原理篇-Redis数据结构

1.1 Redis数据结构-动态字符串

我们都知道Redis中保存的Key是字符串，value往往是字符串或者字符串的集合。可见字符串是Redis中最常用的一种数据结构。

不过Redis没有直接使用C语言中的字符串，因为C语言字符串存在很多问题：

获取字符串长度的需要通过运算
非二进制安全（不能包含'\0'字符）
不可修改，不能进程扩容

Redis构建了一种新的字符串结构，称为简单动态字符串（Simple Dynamic String），简称SDS。例如，我们执行命令：

那么Redis将在底层创建两个SDS，其中一个是包含"name"的SDS，另一个是包含"虎哥"的SDS。

Redis是C语言实现的，其中SDS是一个结构体，源码如下：

例如，一个包含字符串"name"的sds结构如下：

SDS之所以叫做动态字符串，是因为它具备动态扩容的能力，例如一个内容为"hi"的SDS：

假如我们要给SDS追加一段字符串",Amy"，这里首先会申请新内存空间：

当判断缓冲区内存大小不够用的时候，会进行扩容：

如果新字符串小于1M，则新空间为扩展后字符串长度的两倍；

如果新字符串大于1M，则新空间为扩展后字符串长度+1M。

称为内存预分配。

申请内存的操作非常消耗资源，所以可以提升性能。

1.2 Redis数据结构-intset（整数数组）

IntSet是Redis中set集合的一种实现方式，基于整数数组来实现，并且具备长度可变、有序等特征。结构如下：

其中的encoding包含三种模式，表示存储的整数大小不同：

为了方便查找，Redis会将intset中所有的整数按照升序依次保存在contents数组中，结构如图：

现在，数组中每个数字都在int16_t的范围内，因此采用的编码方式是INTSET_ENC_INT16，每部分占用的字节大小为：encoding：4字节length：4字节 contents：2字节 * 3 = 6字节

整数集合的升级操作

我们向该其中添加一个数字：50000，这个数字超出了int16_t的范围，intset会自动升级编码方式到合适的大小。以当前案例来说流程如下：

升级编码为INTSET_ENC_INT32, 每个整数占4字节，并按照新的编码方式及元素个数扩容数组
倒序依次将数组中的元素拷贝到扩容后的正确位置
将待添加的元素放入数组末尾
最后，将inset的encoding属性改为INTSET_ENC_INT32，将length属性改为4

源码如下：

小总结：

Intset可以看做是特殊的整数数组，具备一些特点：

Redis会确保Intset中的元素唯一、有序
具备类型升级机制，可以节省内存空间
底层采用二分查找方式来查询

1.3 Redis数据结构-Dict（哈希表）

键值对在数据库中就是使用哈希表来存储的：

我们知道Redis是一个键值型（Key-Value Pair）的数据库，我们可以根据键实现快速的增删改查。而键与值的映射关系正是通过Dict来实现的。Dict由三部分组成，分别是：哈希表（DictHashTable）、哈希节点（DictEntry）、字典（Dict）

当我们向Dict添加键值对时，Redis首先根据key计算出hash值（h），然后利用 h & sizemask来计算元素应该存储到数组中的哪个索引位置。我们存储k1=v1，假设k1的哈希值h =1，则1&3 =1，因此k1=v1要存储到数组角标1位置。

Dict由三部分组成，分别是：哈希表（DictHashTable）、哈希节点（DictEntry）、字典（Dict）

Dict的rehash触发的条件：

Dict中的HashTable就是数组结合单向链表的实现，当集合中元素较多时，必然导致哈希冲突增多，链表过长，则查询效率会大大降低。

Dict在每次新增键值对时都会检查负载因子（LoadFactor = used/size），满足以下两种情况时会触发哈希表扩容：

size是数组的大小，uesd是总共的元素

Dict的rehash

不管是扩容还是收缩，必定会创建新的哈希表，导致哈希表的size和sizemask变化，而key的查询与sizemask有关。因此必须对哈希表中的每一个key重新计算索引，插入新的哈希表，这个过程称为rehash。过程是这样的：

计算新hash表的realeSize，值取决于当前要做的是扩容还是收缩：
- 如果是扩容，则新size为第一个大于等于dict.ht[0].used + 1的2^n
- 如果是收缩，则新size为第一个大于等于dict.ht[0].used的2^n （不得小于4）

这里的rehash是渐进式hash，每一次涉及到增删改查到来的时候，都进行一次rehash，直到所有的数据都迁移完成。

小总结：

Dict的结构：

类似java的HashTable，底层是数组加链表来解决哈希冲突
Dict包含两个哈希表，ht[0]平常用，ht[1]用来rehash，rehash包括扩容和收缩

Dict的伸缩：

当LoadFactor大于5或者LoadFactor大于1并且没有子进程任务时，Dict扩容
当LoadFactor小于0.1时，Dict收缩
扩容大小为第一个大于等于used + 1的2^n
收缩大小为第一个大于等于used 的2^n
Dict采用渐进式rehash，即每次访问Dict时都会执行一次rehash，也就是一次把一个位置上的所有数据进行rehash，直到所有的数据都写入这个新的hash表中。
rehash时ht[0]只减不增，新增操作只在ht[1]执行，其它操作在两个哈希表都会执行。

普通双向链表的有点和缺点：

1.4 Redis数据结构-ZipList（压缩列表）

这段话记住：

属性	类型	长度	用途
zlbytes	uint32_t	4 字节	记录整个压缩列表占用的内存字节数
zltail	uint32_t	4 字节	记录压缩列表表尾节点距离压缩列表的起始地址有多少字节，通过这个偏移量，可以确定表尾节点的地址。
zllen	uint16_t	2 字节	记录了压缩列表包含的节点数量。最大值为UINT16_MAX （65534），如果超过这个值，此处会记录为65535，但节点的真实数量需要遍历整个压缩列表才能计算得出。
entry	列表节点	不定	压缩列表包含的各个节点，节点的长度由节点保存的内容决定。
zlend	uint8_t	1 字节	特殊值 0xFF （十进制 255 ），用于标记压缩列表的末端。

ZipListEntry

ZipList 中的Entry并不像普通链表那样记录前后节点的指针，因为记录两个指针要占用16个字节，浪费内存。而是采用了下面的结构：

previous_entry_length：前一节点的长度，占1个或5个字节。
- 如果前一节点的长度小于254字节，则采用1个字节来保存这个长度值
- 如果前一节点的长度大于254字节，则采用5个字节来保存这个长度值，第一个字节为0xfe，后四个字节才是真实长度数据
encoding：编码属性，记录content的数据类型（字符串还是整数）以及长度，占用1个、2个或5个字节
contents：负责保存节点的数据，可以是字符串或整数

所以使用这种方式，在本节点就知道前一个结点的长度，这样就能根据自己的地址找到前一个结点的地址，实现逆序遍历。

ZipList中所有存储长度的数值均采用小端字节序，即低位字节在前，高位字节在后。例如：数值0x1234，采用小端字节序后实际存储值为：0x3412

Encoding编码

ZipListEntry中的encoding编码分为字符串和整数两种：字符串：如果encoding是以"00"、"01"或者"10"开头，则证明content是字符串，编码的后面几位可以标识字符串内容的大小

编码	编码长度	字符串大小
	00pppppp
	01pppppp	qqqqqqqq
	10000000	qqqqqqqq

例如，我们要保存字符串："ab"和 "bc"

encoding：能体现编码类型和长度，后面的就是contents，使用的是ASC码来表示的。

前面的三部分都是使用了小端方式

ZipListEntry中的encoding编码分为字符串和整数两种：

整数：如果encoding是以"11"开始，则证明content是整数，且encoding固定只占用1个字节

编码	编码长度	整数类型
11000000	1	int16_t（2 bytes）
11010000	1	int32_t（4 bytes）
11100000	1	int64_t（8 bytes）
11110000	1	24位有符整数(3 bytes)
11111110	1	8位有符整数(1 bytes)
1111xxxx	1	直接在xxxx位置保存数值，范围从0001~1101，减1后结果为实际值

整个结构：

ZipList的缺点：只能从前向后或者从后向前遍历，如果节点在中间且节点比较多，则比较耗费时间。

1.5 Redis数据结构-ZipList的连锁更新问题

但是，如果现在有个元素加入到队头，并且大小占用超过了254字节，所以后面的一个结点的记录上一个节点的长度就会改变，然后后面连续的都会改变。

ZipList这种特殊情况下产生的连续多次空间扩展操作称之为连锁更新（Cascade Update）。新增、删除都可能导致连锁更新的发生。

小总结：

ZipList特性：

ZipList劣势：不能数据过多，因为找到一大块连续内存是比较困难的，所以引入了QuickList

1.6 Redis数据结构-QuickList（快速链表）

为了解决一次申请较大的内存空间比较困难以及连续更新的问题，引入了快速链表，就是双向链表+压缩链表的形式。

问题1：ZipList虽然节省内存，但申请内存必须是连续空间，如果内存占用较多，申请内存效率很低。怎么办？

答：为了缓解这个问题，我们必须限制ZipList的长度和entry大小。

问题2：但是我们要存储大量数据，超出了ZipList最佳的上限该怎么办？

答：我们可以创建多个ZipList来分片存储数据。

问题3：数据拆分后比较分散，不方便管理和查找，这多个ZipList如何建立联系？

答：Redis在3.2版本引入了新的数据结构QuickList，它是一个双端链表，只不过链表中的每个节点都是一个ZipList。

为了避免QuickList中的每个ZipList中entry过多，Redis提供了一个配置项：list-max-ziplist-size来限制。如果值为正，则代表ZipList的允许的entry个数的最大值如果值为负，则代表ZipList的最大内存大小，分5种情况：

-1：每个ZipList的内存占用不能超过4kb
-2：每个ZipList的内存占用不能超过8kb
-3：每个ZipList的内存占用不能超过16kb
-4：每个ZipList的内存占用不能超过32kb
-5：每个ZipList的内存占用不能超过64kb

其默认值为 -2：

以下是QuickList的和QuickListNode的结构源码：

我们接下来用一段流程图来描述当前的这个结构

compress是首位不压缩的数量：中间的是压缩的方式

总结：

QuickList的特点：

是一个节点为ZipList的双端链表
节点采用ZipList，解决了传统链表的内存占用问题
控制了ZipList大小，解决连续内存空间申请效率问题
中间节点可以压缩，进一步节省了内存
所以QuickList具有链表和ZipList的优点，即既可以分散存储连接，又可以占用的内存比较少，因为ZipList是比较节省空间的

QuickList和ZipList特点就是节省内存，不过他们在遍历的时候只能从头遍历或者从尾遍历，中间随机查询性能比较低。所以有了下面的跳表

1.7 Redis数据结构-SkipList（跳表）

SkipList（跳表）使用的是链表，但与传统链表相比有几点差异：

元素按照升序排列
使用多级指针，存储节点可能包含多个指针，指针跨度不同。

查找过程：先从第一个节点的最高级指针开始，找到下一个节点，然后下一个节点和要找的节点的得分，如果要找的得分大，就继续往后查找，如果要找的得分小，那就使用下一级的指针，类似与二分查找。

小总结：

SkipList的特点：

跳跃表是一个双向链表，每个节点都包含score和ele值
节点按照score值排序，score值一样则按照ele字典排序
每个节点都可以包含多层指针，层数是1到32之间的随机数
不同层指针到下一个节点的跨度不同，层级越高，跨度越大
增删改查效率与红黑树基本一致（lonN，实现却更简单

为什么使用跳表而不使用平衡树？

1.8 Redis数据结构-listpack

虽然快速链表的出现减少了连续更新来的性能影响，但是由于它的设计记录了前一个结点的大小，所以说还是会出现这个问题。

因为，redis5.0出现了一个listpack的结构来代替压缩链表。也就是说listpack只会记录当前节点的长度，这样新增元素的时候不会影响其他结点的长度字段。

结构设计：

即从当前节点的地址解析到前一个节点的长度，就可以得到前一个结点的地址。

1.9 Redis数据结构-RedisObject

Redis中的任意数据类型的键和值都会被封装为一个RedisObject，也叫做Redis对象，源码如下：

这个对象头部就是占用16个字节。

所以如果是String类型，每个String都会有一个对象头，如果是list，那么只需要一个对象头。

Redis的编码方式

Redis中会根据存储的数据类型不同，选择不同的编码方式，共包含11种不同类型：

五种数据结构

Redis中会根据存储的数据类型不同，选择不同的编码方式。每种数据类型的使用的编码方式如下：

2.0 Redis数据结构-String

Stirng类型有三种编码方式，其基本编码方式是RAW，基于简单动态字符串（SDS）实现，redis对象头中有一个指针指向这个SDS，如果存储的SDS长度小于44字节，则会采用EMBSTR编码，此时对象头与SDS是一段连续空间。****如果⼀个String类型的value的值是数字，则会采用INT编码，直接保存在redis对象头的ptr位置。

String是Redis中最常见的数据存储类型：

其基本编码方式是RAW，基于简单动态字符串（SDS）实现，存储上限为512mb。

如果存储的SDS长度小于44字节，则会采用EMBSTR编码，此时object head与SDS是一段连续空间。申请内存时只需要调用一次内存分配函数，效率更高。因为内存切换涉及到内核态和用户态的切换。所以我们使用String的时候，最好不要超过44字节

如果⼀个String类型的value的值是数字，则会采用INT编码，直接保存在redis对象头的ptr位置。

总结：三种编码方式

2.1 Redis数据结构-List

List结构是由快速链表来实现的。

QuickList：LinkedList + ZipList，可以从双端访问，内存占用较低，包含多个ZipList，存储上限高

Redis的List类型可以从首、尾操作列表中的元素：

哪一个数据结构能满足上述特征？

LinkedList ：普通链表，可以从双端访问，内存占用较高，内存碎片较多
ZipList ：压缩列表，可以从双端访问，内存占用低，存储上限低
QuickList：LinkedList + ZipList，可以从双端访问，内存占用较低，包含多个ZipList，存储上限高

Redis的List结构类似一个双端链表，可以从首、尾操作列表中的元素：

在3.2版本之前，Redis采用ZipList和LinkedList来实现List，当元素数量小于512并且元素大小小于64字节时采用ZipList编码，超过则采用LinkedList编码。

在3.2版本之后，Redis统一采用QuickList来实现List：

2.2 Redis数据结构-Set结构

set这个数据类型为了保证查询效率和唯一性，采用了哈希表来存储，key就是set元素，value统一是null。当储存的所有数据都是整数的时候，set会采用整数集合Intset来存储，以节省内存。

Set是Redis中的单列集合，满足下列特点：

不保证有序性
保证元素唯一
求交集、并集、差集

可以看出，Set对查询元素的效率要求非常高，思考一下，什么样的数据结构可以满足？

结构如下：

2.3、Redis数据结构-ZSET

因为zset是是可以根据key找到score并且可以根据score进行排序的功能，所以底层采用的是跳表和哈希表，哈希表是用来进行查询，可以根据key来找到score，跳表可以根据score得分，并且能够快速的根据得分查询。性能比较好，但是内存占用比较大，所以当元素数量不多的时候，采用的是压缩列表来存储，即达到两个条件，分别是元素的数量小于128并且每个元素都小于64字节。

ZSet也就是SortedSet，其中每一个元素都需要指定一个score值和member值：