Redis设计与实现 学习笔记 第十三章 客户端

Redis是一对多服务器程序，一个服务器可以与多个客户端建立连接，每个客户端都可以向服务器发送命令请求，而服务器则接收并处理客户端发送的命令请求，并向客户端返回命令回复。

通过使用由IO多路复用技术实现的文件事件处理器，Redis服务器使用单线程单进程方式来处理命令请求，并与多个客户端进行网络通信。

对于每个与服务器进行连接的客户端，服务器都为这些客户端建立了相应的redis.h/redisClient结构（客户端状态），这个结构保存了客户端当前的状态信息，以及执行相关功能时需要用到的数据结构，其中包括：

1.客户端的套接字描述符。

2.客户端的名字。

3.客户端的标志值（flag）。

4.指向客户端正在使用的数据库的指针，以及该数据库的号码。

5.客户端当前要执行的命令、命令的参数、命令参数的个数、指向命令实现函数的指针。

6.客户端的输入缓冲区和输出缓冲区。

7.客户端的复制状态信息，以及进行复制所需的数据结构。

8.客户端执行BRPOP（移除并获取列表中最后一个元素，如果列表为空，则会阻塞到有元素可返回）、BLPOP等列表阻塞命令时使用的数据结构。

9.客户端的事务状态，以及执行WATCH命令（监视一个或多个键，以便有条件地执行事务，如果这些键有变化，则事务将不会执行）时用到的数据结构。

10.客户端执行发布与订阅功能时用到的数据结构。

11.客户端的身份验证标志。

12.客户端的创建时间、客户端与服务器最后一次通信的时间、客户端的输出缓冲区大小超出软性限制（soft limit）的时间。

Redis服务器状态结构的clients属性是一个链表，保存了所有与服务器连接的客户端的状态结构，对客户端执行批量操作、查找某个指定的客户端时，都可以通过遍历clients链表来完成：

struct redisServer {
    // ...
    // 一个链表，保存了所有客户端状态
    list *clients;
    // ...
};

一个与三个客户端进行连接的服务器的clients链表示例：

13.1 客户端属性

客户端状态包含的属性可分为两类：

1.一类是比较通用的属性，这些属性很少与特定功能相关，无论客户端执行的是什么工作，都要用到这些属性。

2.另一类是和特定功能相关的属性，比如操作数据库时需要用到的db属性和dictid属性，执行事务时需要用到的mstate属性，执行WATCH命令时需要用到的watched_keys属性等。

本章将介绍客户端中比较通用的那部分属性，和特定功能相关的属性将在相应章节中介绍。

13.1.1 套接字描述符

客户端状态的fd属性记录了客户端正在使用的套接字描述符：

typedef struct redisClient {
    // ...
    int fd;
    // ...
} redisClient;

根据客户端的不同，fd属性的值可以是-1或大于-1的整数：

1.伪客户端（fake client）的fd属性值为-1：伪客户端处理的命令请求来源于AOF文件或Lua脚本，而非网络，所以这种客户端不需要套接字连接，自然也不需要套接字描述符。目前Redis服务器（2.9版本）会在两个地方用到伪客户端，一是载入AOF文件并还原数据库状态时，二是执行Lua脚本中包含的Redis命令。

2.普通客户端的fd属性值为大于-1的整数：普通客户端使用套接字与服务器进行通信，合法的套接字描述符是大于-1的整数。

CLIENT list命令可列出目前所有连接到服务器的普通客户端，命令中的fd域显示了服务器连接客户端所使用的套接字描述符：

13.1.2 名字

默认，一个连接到服务器的客户端是没有名字的。

比如上面展示的CLIENT list命令示例中，两个客户端的name域都是空的。

使用CLIENT setname命令可为客户端设置一个名字，让客户端的身份变得更清晰。

以下展示的是客户端执行CLIENT setname命令后的客户端列表：

其中，第一个客户端的名字是message_queue，我们可以猜测它是负责处理消息队列的客户端；第二个客户端的名字是user_relationship，可以猜测它是负责处理用户关系的客户端。

客户端的名字记录在客户端状态的name属性里面：

typedef struct redisClient {
    // ...
    robj *name;
    // ...
} redisClient;

如果客户端没有为自己设置名字，那么客户端状态的name属性指向NULL指针；如果客户端为自己设置了名字，那么name属性将指向一个字符串对象，该对象保存着客户端的名字。

图13-3展示了一个客户端状态示例，客户端的名字为message_queue：

13.1.3 标志

客户端的标志属性flags记录了客户端的角色（role），以及客户端目前所处的状态：

typedef struct redisClient {
    // ...
    int flags;
    // ...
} redisClient;

flags属性的值可以是单个标志：

flags = <flag>

也可以是多个标志的二进制或：

flags = <flag1> | <flag2> | ...

每个标志使用一个常量表示，一部分标志记录了客户端的角色：

1.在主从服务器进行复制操作时，主服务器会成为从服务器的客户端，而从服务器也会成为主服务器的客户端。REDIS_MASTER标志表示客户端是一个主服务器，REDIS_SLAVE标志表示客户端是一个从服务器。

2.REDIS_PRE_PSYNC标志表示客户端是一个版本低于Redis2.8的从服务器，主服务器不能使用PSYNC命令与这个从服务器进行同步。这个标志只能在REDIS_SLAVE标志处于打开状态时才能使用。

3.REDIS_LUA_CLIENT表示客户端是专门用于处理Lua脚本里的Redis命令的伪客户端。

而另一部分标志则记录了客户端目前所处的状态：

1.REDIS_MONITOR标志表示客户端正在执行MONITOR命令。

2.REDIS_UNIX_SOCKET标志表示服务器使用UNIX套接字来连接客户端。

3.REDIS_BLOCKED标志表示客户端正在被BRPOP、BLPOP等命令阻塞。

4.REDIS_UNBLOCKED标志表示客户端已经从REDIS_BLOCKED表示的阻塞状态中脱离出来，不再阻塞。REDIS_UNBLOCKED标志只能在REDIS_BLOCKED标志已打开时使用。

5.REDIS_MULTI标志表示客户端正在执行事务。

6.REDIS_DIRTY_CAS标志表示事务使用WATCH命令监视的数据库键已被修改，REDIS_DIRTY_EXEC标志表示事务在命令入队时出现了错误，这两个标志都表示事务的安全性已被破坏，只要这两个标志其中一个被打开，EXEC命令必然会执行失败。这两个标志只能在客户端打开了REDIS_MULTI标志的情况下使用。

7.REDIS_CLOSE_ASAP标志表示客户端的输出缓冲区大小超过了服务器允许的范围（输出缓冲区中要输出的内容过多），服务器会在下一次执行serverCron函数时关闭这个客户端，以免服务器的稳定性受到这个客户端影响。积存在输出缓冲区中的所有内容会直接被释放，不会返回给客户端。

8.REDIS_CLOSE_AFTER_REPLY标志表示有用户对这个客户端执行了CLIENT KILL命令，或客户端发送给服务器的命令请求中包含了错误的协议内容。服务器会将客户端积存在输出缓冲区中的所有内容发送给客户端，然后关闭客户端。

9.REDIS_ASKING标志表示客户端向集群节点（运行在集群模式下的服务器）发送了ASKING命令（key在源节点和目标节点之间迁移时，如果客户访问源节点上被迁移中的key，那么源节点会返回一个带有目标节点地址的ASK错误，此时客户端就可以向目标节点发出ASKING命令访问key）。

10.REDIS_FORCE_AOF标志强制服务器将当前执行的命令写入AOF文件里，REDIS_FORCE_REPL标志强制主服务器将当前执行的命令赋值给从服务器。执行PUBSUB命令会使客户端打开REDIS_FORCE_AOF标志和REDIS_FORCE_REPL标志。

11.主从服务器进行命令传播期间，从服务器需要向主服务器发送REPLICATION ACK命令（让主节点知道从节点的复制进度），在发送这个命令前，从服务器必须打开主服务器对应的客户端的REDIS_MASTER_FORCE_REPLY标志，否则发送操作会被拒绝执行。

上面提到的所有标志都定义在redis.h文件里。

通常情况下，Redis只会将对数据库进行了修改的命令写入AOF文件，并复制到各个从服务器。如果一个命令没有对数据库进行任何修改，那么它就会被认为是一个只读命令，这个命令不会被写入AOF文件，也不会被复制到从服务器。

以上规则适用于绝大部分Redis命令，但PUBSUB命令（用于管理和查看发布/订阅系统的信息）和SCRIPT LOAD命令（将一个Lua脚本加载到Redis的脚本缓存中）是例外。PUBSUB命令虽然没有修改数据库，但它向所有频道订阅者发送消息这一行为带有副作用，接收到消息的所有客户端的状态都会因这个命令而改变。因此，服务器需要使用REDIS_FORCE_AOF标志，强制将这个命令写入AOF文件，这样在将来载入AOF文件时，服务器就可以再次执行相同的PUBSUB命令，并产生相同的副作用。SCRIPT LOAD命令与PUBSUB命令类似：虽然SCRIPT LOAD命令没有修改数据库，但它修改了服务器状态，所以它是一个带有副作用的命令，服务器需要使用REDIS_FORCE_AOF标志，强制将这个命令写入AOF文件，使得将来在载入AOF文件时，服务器可以产生相同的副作用。（是什么副作用呢？）

另外，为了让主服务器和从服务器都可以正确载入SCRIPT LOAD命令指定的脚本，服务器需要使用REDIS_FORCE_REPL标志，强制将SCRIPT LOAD命令复制给所有从服务器。

以下是一些flags属性的例子：

13.1.4 输入缓冲区

客户端状态的输入缓冲区用于保存客户端发送的命令请求：

typedef struct redisClient {
    // ...
    sds querybuf;
    // ...
} redisClient;

例如，如果客户端向服务器发送了以下命令请求：

SET key value

那么客户端状态的querybuf属性将是一个包含以下内容的SDS（简单动态字符串）值：

图13-4展示了这个SDS值以及querybuf属性的样子：

输入缓冲区的大小会根据输入内容动态地缩小或扩大，但它的最大大小不能超过1GB，否则服务器将关闭这个客户端。

13.1.5 命令与命令参数

在服务器将客户端发送的命令请求保存到客户端状态的querybuf属性后，服务器将对命令请求的内容进行分析，并将得出的命令参数以及命令参数的个数分别保存到客户端状态的argv和argc属性：

typedef struct redisClient {
    // ...
    robj **argv;
    int argc;
    // ...
} redisClient;

argv属性是一个数组，数组中每个项都是一个字符串对象，其中argv[0]是要执行的命令，而之后的其他项是传给命令的参数。

argc属性记录了argv数组的长度。

例如，对于图13-4所示的querybuf属性来说，服务器将分析并创建图13-4所示的argv和argc属性：

注意，图13-5中的argc属性值为3，而非2，因为命令的名字"SET"本身也是一个参数。

13.1.6 命令的实现函数

当服务器从协议内容中分析并得出argv和argc属性的值之后，服务器将根据argv[0]的值，在命令表中查找命令对应的命令实现函数。

图13-6展示了一个命令表，该表是一个字典，字典的键是一个SDS结构，保存了命令的名字，字典的值是命令所对应的redisCommand结构，这个结构保存了命令的实现函数、命令的标志、命令应该给定的参数个数、命令的总执行次数和总消耗时长等统计信息。

当程序在命令表中找到argv[0]对应的redisCommand结构时，它会将客户端状态的cmd指针指向这个结构：

typedef struct redisClient {
    // ...
    struct redisCommand *cmd;
    // ...
} redisClient;

之后，服务器就可以调用命令实现函数，执行客户端指定的命令。

图13-7演示了服务器在argv[0]为"SET"时，查找命令表，并将客户端状态的cmd指针指向目标redisCommand结构的整个过程：

针对命令表的查找操作不区分输入字母的大小写。

13.1.7 输出缓冲区

执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里，每个客户端都有两个输出缓冲区可用，一个缓冲区的大小是固定的，另一个缓冲区的大小是可变的：

1.固定大小的缓冲区用于保存那些长度比较小的回复，比如OK、简短的字符串值、整数值、错误回复等。

2.可变大小的缓冲区用于保存长度比较大的回复，比如一个非常长的字符串值、一个由很多项组成的列表、一个包含了很多元素的集合等。

客户端的固定大小缓冲区由buf和bufpos两个属性组成：

typedef struct redisClient {
    // ...
    char buf[REDIS_REPLY_CHUNK_BYTES];
    int bufpos;
    // ...
} redisClient;

buf是一个大小为REDIS_REPLY_CHUNK_BYTES字节的字节数组，而bufpos属性记录了buf数组目前已使用的字节数。

REDIS_REPLY_CHUNK_BYTES常量目前的默认值是16*1024（16KB）。

图13-8展示了一个使用固定大小缓冲区来保存返回值+OK\r\n的例子：

当buf数组的空间已用完，或回复因太大而没办法放进buf数组里时，服务器就会使用可变大小缓冲区。

可变大小缓冲区由reply链表和一个或多个字符串对象组成：

typedef struct redisClient {
    // ...
    list *reply;
    // ...
} redisClient;

通过使用链表来连接多个字符串对象，服务器可以为客户端保存一个非常长的命令回复。

图13-9展示了一个包含三个字符串对象的reply链表：

13.1.8 身份验证

客户端状态的authenticated属性用于记录客户端是否通过了身份验证：

typedef struct redisClient {
    // ...
    int authenticated;
    // ...
} redisClient;

如果authenticated值为0，表示客户端未通过身份验证；如果authenticated值为1，表示客户端已经通过了身份验证。

当客户端的authenticated属性值为0时，除了AUTH命令（用于输入密码）外，客户端发送的其他命令都会被服务器拒绝执行：

上图中的PING命令用于测试与服务器的连接是否正常，如果服务器返回PONG，说明连接正常。

当客户端通过AUTH命令的身份验证后，客户端就可以正常向服务器发送命令请求了：

authenticated属性仅在服务器开启了身份验证功能时使用。如果服务器没有启用身份验证功能，那么即使authenticated属性值为0（默认值），服务器也不会拒绝客户端的命令请求。

更多关于服务器身份验证的信息可参考实例配置文件对requirepass选项的说明。

13.1.9 时间

客户端还有几个与时间有关的属性：

typedef struct redisClient {
    // ...
    time_t ctime;
    time_t lastinteraction;
    time_t obuf_soft_limit_reached_time;
    // ...
} redisClient;

ctime属性记录了创建客户端的时间，可用于计算客户端与服务器已经连接了多长时间，CLIENT list命令的age域记录了这个连接已经持续的秒数：

lastinteraction属性用来计算客户端的空转（idle）时间，即距离客户端与服务器最后一次进行互动以来，已经过去了多少秒，CLIENT list命令的idle域记录了这个秒数：

obuf_soft_limit_reached_time属性记录了输出缓冲区第一次到达软性限制（soft limit）的时间。

13.2 客户端的创建与关闭

13.2.1 创建普通客户端

如果客户端是通过网络连接与服务器进行连接的普通客户端，那么在客户端使用connect函数连接到服务器时，服务器就会调用连接时间处理器（第12章有介绍），为客户端创建相应的客户端状态，并将这个新的客户端状态添加到服务器状态结构clients链表的末尾。

例如，当前有c1和c2两个普通客户端正在连接服务器，那么当一个新的普通客户端c3连接到服务器后，服务器会将c3对应的客户端状态添加到clients链表的末尾，如图13-12所示，其中用虚线包围的就是服务器为c3新创建的客户端状态：

13.2.2 关闭普通客户端

一个普通客户端可以因为多种原因而被关闭：

1.如果客户端进程退出或被杀死，那么客户端与服务器之间的网络连接将被关闭，从而造成客户端被关闭。

2.如果客户端向服务器发送了带有不符合协议格式的命令请求，那么这个客户端也会被服务器关闭。

3.如果客户端成为了CLIENT KILL命令的目标，那么它也会被关闭。

4.如果用户为服务器设置了timeout配置选项，那么当客户端的空转时间超过timeout选项设置的值时，客户端将被关闭。但timeout选项也有例外情况：如果客户端是主服务器（打开了REDIS_MASTER标志）、从服务器（打开了REDIS_SLAVE标志）、正在被BLPOP等命令阻塞（打开了REDIS_BLOCKED标志）、正在执行SUBSCRIBE（订阅某个频道）和PSUBSCRIBE（订阅一个或多个符合给定匹配模式的频道）等订阅命令，那么即使客户端的空转时间超过了timeout选项的值，客户端也不会被服务器关闭。

5.如果客户端发送的命令请求大小超过了输入缓冲区的限制（默认为1GB），那么这个客户端会被服务器关闭。

6.如果要发送给客户端的命令回复大小超过了输出缓冲区的限制，那么这个客户端会被服务器关闭。

前面介绍输出缓冲区时提到过，可变大小缓冲区由一个链表和任意个字符串对象组成，理论上来说，这个缓冲区可以保存任意长的命令回复。

但为了避免客户端的回复过大，占用过大的服务器资源，服务器会时刻检查客户端的输出缓冲区大小，并在缓冲区的大小超出范围时，执行相应的限制操作。

服务器使用两种模式来限制客户端输出缓冲区的大小：

1.硬性限制（hard limit）：如果输出缓冲区的大小超过了硬性限制所设置的大小，那么服务器立即关闭客户端。

2.软性限制（soft limit）：如果输出缓冲区的大小超过了软性限制所设置的大小，但还没超过硬性限制，那么服务器将使用客户端状态结构的obuf_soft_limit_reached_time属性记录下客户端到达软性限制的起始时间；之后服务器会继续监视客户端，如果输出缓冲区的大小一直超出软性限制，并且持续时间超过服务器设定的时长，那么服务器将关闭客户端；相反地，如果输出缓冲区的大小在指定时间之内，不再超出软性限制，那么客户端就不会被关闭，并且obuf_soft_limit_reached_time属性的值也会被清零。

使用client-output-buffer-limit选项可以为普通客户端、从服务器客户端、执行发布与订阅功能的客户端分别设置不同的软性限制和硬性限制，选项格式为：

以下是三个设置示例：

第一行设置将普通客户端的硬性限制和软性限制都设为0，表示不限制客户端的输出缓冲区大小。

第二行设置将从服务器客户端的硬性限制设置为256MB，而软性限制设置为64MB，软性限制的时长为60秒。

第三行设置将执行发布与订阅功能的客户端的硬性限制设置为32MB，软性限制设置为8MB，软性限制的时长为60秒。

关于client-output-buffer-limit选项的更多用法可参考示例配置文件redis.conf。

13.2.3 Lua脚本的伪客户端

服务器会在初始化时创建负责执行Lua脚本中包含的Redis命令的伪客户端，并将这个伪客户端关联在服务器状态结构的lua_client属性中：

struct redisServer {
    // ...
    redisClient *lua_client;
    // ...
};

lua_client伪客户端在服务器运行的整个生命期中会一直存在，只有服务器被关闭时，这个客户端才会被关闭。

13.2.4 AOF文件的伪客户端

服务器在载入AOF文件时，会创建用于执行AOF文件包含的Redis命令的伪客户端，并在载入完成后，关闭这个伪客户端。

13.3 重点回顾

1.服务器状态结构使用clients链表连接起多个客户端状态，新添加的客户端状态会被放到链表的末尾。

2.客户端状态的flags属性使用不同标志来表示客户端的角色，以及客户端当前所处的状态。

3.输入缓冲区记录了客户端发送的命令请求，这个缓冲区的大小不能超过1GB。

4.命令的参数和参数个数会被记录在客户端状态的argv和argc属性里，而cmd属性则记录了客户端要执行命令的实现函数。

5.客户端有固定大小缓冲区和可变大小缓冲区两种输出缓冲区可用，其中固定大小缓冲区的最大大小为16KB，而可变大小缓冲区的最大大小不能超过服务器设置的硬性限制值。

6.输出缓冲区限制值有两种，如果输出缓冲区的大小超过了服务器设置的硬性限制，那么客户端会被立即关闭；除此之外，如果客户端在一定时间内，一直超过服务器设置的软性限制，那么客户端也会被关闭。

7.当一个客户端通过网络连接连上服务器时，服务器会为这个客户端创建相应的客户端状态。网络连接关闭、发送了不合协议格式的命令请求、成为CLIENT KILL命令的目标、空转时间超时、输出缓冲区的大小超出限制，以上原因都会造成客户端被关闭。

8.处理Lua脚本的伪客户端在服务器初始化时创建，这个客户端会一直存在，直到服务器关闭。

9.载入AOF文件时使用的伪客户端在载入工作开始时动态创建，载入工作完毕后关闭。