【中间件开发】Redis基础命令详解及概念介绍

文章目录

前言
一、Redis相关命令详解及原理
- [1.1 string、set、zset、list、hash](#1.1 string、set、zset、list、hash)
- - [1.1.1 string](#1.1.1 string)
  - [1.1.2 list](#1.1.2 list)
  - [1.1.3 hash](#1.1.3 hash)
  - [1.1.4 set](#1.1.4 set)
  - [1.1.5 zset](#1.1.5 zset)
- [1.2 分布式锁的实现](#1.2 分布式锁的实现)
- [1.3 lua脚本解决ACID原子性](#1.3 lua脚本解决ACID原子性)
- [1.4 Redis事务的ACID性质分析](#1.4 Redis事务的ACID性质分析)
二、Redis协议与异步方式
- [2.1 Redis协议解析](#2.1 Redis协议解析)
- - [2.1.1 redis pipeline](#2.1.1 redis pipeline)
  - [2.1.2 Redis协议图](#2.1.2 Redis协议图)
- [2.2 特殊协议操作-订阅发布](#2.2 特殊协议操作-订阅发布)
- [2.3 异步redis协议](#2.3 异步redis协议)
- - [2.3.1 hiredis + libevent](#2.3.1 hiredis + libevent)
总结

前言

本文介绍了Redis相关命令以及Redis当中的一些概念（协议）。

一、Redis相关命令详解及原理

内存是稀缺资源，所以：

当数据量少时，存储效率高为主
当数据量多时，运行速度快为主

1.1 string、set、zset、list、hash

string 是一个安全的二进制字符串（兼容'\0'作为分隔符，安全指按长度）；
双端队列（链表） list ：有序（插入有序）；
散列表 hash：对顺序不关注，field 是唯一的；
无序集合 set：对顺序不关注，里面的值都是唯一的；
有序集合 zset ：对顺序是关注的，里面的值是唯一的；根据 member 来确定唯一；根据 score 来确定有序；

1.1.1 string

shell 复制代码

set key_test 1000

get key_test

# 原子减一
decr key_test
decrby key_test decrement(一个数字)

# 原子加一
incr key_test
incrby key_test increment

# set Not exist，当key_test存在时，什么也不做，否则等同于set
setnx key_test value
del key_test

----------
# 
setbit key_test offset value
# 第offset位设置为value
getbit key_test offset
# 统计字符串被设置为1的bit数
bitcount key_test
----------

应用

对象存储：set，get
累加器：incr
分布式锁：setnx
位运算：setbit，getbit，bitcount

1.1.2 list

双向链表，首尾操作时间复杂度O(1)；中间元素操作O(n)

list.size < 48 不压缩
元素压缩前后长度差不超过8，不压缩

为什么压缩？如何压缩的？

shell 复制代码

# 从队列左侧入队
lpush key value ...
lpop key

# 从队列右侧入队
rpush key value ...
rpop key 

# 尾索引
lrange key start end

# 从存于 key 的列表里移除前 count 次出现的值为 value 的元素
lrem key count value

# rpop的阻塞版本
brpop key timeout

应用

栈：lpush + lpop
队列：lpush + rpop
阻塞队列：lpush + brpop
异步消息队列
1. 操作和队列一样，但是在不同系统间；生产者和消费者；
获取固定窗口记录
1. ltrim key 0 4 保留最近5条记录

1.1.3 hash

散列表；C++ unordered_map

(节点数量 > 512 || 所有字符串长度 > 64) 采用dict

(节点数量 <= 512 || 所有字符串长度 < 64) 采用ziplist

shell 复制代码

hget key field
hgetall

hset key field value
# 设置多个键值对
hmset key field1 value1 field2 value2 field3 value3 ... fieldn valuen

hmget key field1 field2 ...

hincrby key field increment
# 获取有多少个键值对
hlen key

hdel key field

应用

存储对象
购物车：商品列表用list，其中属性用hash

1.1.4 set

无序集合

(元素都为整数 && 节点数量 <= 512) 采用整数数组存储

(元素不全为整数 || 节点数量 > 512) 采用字典存储

shell 复制代码

# 添加一个或多个
sadd key member ...
# 计算集合元素个数
scard key

smembers key
# 返回成员member是否为key的成员
sismember key member
# 随机返回key集合中的一个或多个元素
srandmember key [count]
# 移除一个随机元素
spop key [count]
# 返回差集
sdiff key [key...]
# 返回交集
sinter key [key...]
# 返回并集
sunion key [key...]

应用

抽奖：srandmember
共同关注：sdiff ; sinter; sunion

1.1.5 zset

有序集合；实现排行榜；有序唯一

shell 复制代码

zadd key 
# 从key中删除member的键值对
zrem key member [member...]
# 返回有序集key中member的score值
zscore key member
# 成员member的score值加上增量
zincrby key increment member
# 返回个数
zcard key
# 返回排名
zrank key member
# 返回指定范围的元素
zrange key start stop
# 返回指定范围的元素（逆序）
zrevrange key start stop

应用

百度热榜
延时队列
分布式定时器
时间窗口限流

1.2 分布式锁的实现

释放锁操作：事务操作

锁：谁持有，谁释放

shell 复制代码

get dislock

lua 复制代码

-- 释放锁
local uuid = redis.call("get", KEYS[1])
if uuid == KEYS[2] then
	redis.call("del", KEYS[1])
end

1.3 lua脚本解决ACID原子性

shell 复制代码

# 开启事务
multi

# 提交事务
exec

# 取消事务
discard

# 检测key的变动
watch

实际中是使用lua脚本

redis 中加载了一个 lua 虚拟机；用来执行 redis lua 脚本；
redis lua 脚本的执行是原子性的；
当某个脚本正在执行的时候，不会有其他命令或者脚本被执行；
lua 脚本当中的命令会直接修改数据状态；
lua 脚本 mysql 存储区别：MySQL存储过程不具备事务性，所以也不具备原子性；

注意：如果项目中使用了 lua 脚本，不需要使用上面的事务命令

1.4 Redis事务的ACID性质分析

A 原子性；事务是一个不可分割的工作单位，事务中的操作要么全部成功，要么全部失败；redis 不支持回滚；即使事务队列中的某个命令在执行期间出现了错误，整个事务也会继续执行下去，直到将事务队列中的所有命令都执行完毕为止。
C 一致性；事务的前后，所有的数据都保持一个一致的状态，不能违反数据的一致性检测；这里的一致性是指预期的一致性而不是异常后的一致性；所以 redis 也不满足；这个争议很大：redis 能确保事务执行前后的数据的完整约束；但是并不满足业务功能上的一致性；比如转账功能，一个扣钱一个加钱；可能出现扣钱执行错误，加钱执行正确，那么最终还是会加钱成功；系统凭空多了钱；

shell 复制代码

set zhang 1000
lpush zhang 1 3 4 #error
get mark

I 隔离性；各个事务之间互相影响的程度；redis 是单线程执行，天然具备隔离性；
D 持久性；redis 只有在 aof 持久化策略的时候，并且需要在 appendfsync=always 才具备持久性；实际项目中几乎不会使用 redis.conf 中 aof 持久化策略；
面试时候回答：lua 脚本满足原子性和隔离性；一致性和持久性不满足；

shell 复制代码

get zhang ==>100

set zhang 200

如果这两个命令没有作为一个整体，那么可以会有另一条连接set。这将导致数据不一致。

什么时候探讨事务？多条并发连接

什么时候探讨原子操作？多核

二、Redis协议与异步方式

2.1 Redis协议解析

2.1.1 redis pipeline

redis pipeline 是一个客户端提供的机制，而不是服务端提供的；

注意：pipeline 不具备事务性；

目的：节约网络传输时间；

通过一次发送多次请求命令，从而减少网络传输的时间。

2.1.2 Redis协议图

上图描述了如何界定数据包：

长度 + 二进制流
二进制流 + 特殊分割符

2.2 特殊协议操作-订阅发布

为了支持消息的多播机制，redis引入了发布订阅：发送者发送消息，订阅者接收消息。

shell 复制代码

# 订阅频道
subscribe `channel`
# 订阅模式频道
psubscribe `channel`
# 取消订阅频道
unsubscribe `channel`
# 发布具体频道或模式频道的内容
publish `channel` `message`
# 客户端接收具体频道内容
message `specificChannel` `message`
# 客户端接收模式频道内容
pmessage

应用：

发布订阅可以收到redis主动推送的内容
项目中支持发布订阅，需要另开一条连接

缺点：

生产者传递来一条消息，redis找到相应的消费者并传递过去，如果没有消费者，消息丢弃；
如果有两个消费者，此时其中一个消费者挂掉了，重连上来将不会接收到该消息；
redis停机重启，发布订阅的消息不会持久化。

2.3 异步redis协议

同步连接方案采用阻塞IO来实现：

优点：代码书写是同步的，业务逻辑不割裂

缺点：阻塞当前线程，直到返回结果，通常需要多个线程来实现线程池来解决效率问题。

异步连接方案采用非阻塞IO来实现：

优点：不阻塞当前线程，redis没有返回，可以继续向redis发送命令

缺点：代码书写是异步的，业务逻辑割裂，可以通过协程解决（skynet，openresty）

2.3.1 hiredis + libevent

我们需要做的事情：
适配：

事件对象
事件操作函数

hiredis需要做：

协议解析
读写事件
缓冲区操作
协议加密等

适配事件对象和函数。

c 复制代码

static int redisAttach(reactor_t *r, redisAsyncContext *ac) {
    redisContext *c = &(ac->c);
    redis_event_t *re;
    
    /* Nothing should be attached when something is already attached */
    if (ac->ev.data != NULL)
        return REDIS_ERR;

    /* Create container for ctx and r/w events */
    re = (redis_event_t*)hi_malloc(sizeof(*re));
    if (re == NULL)
        return REDIS_ERR;

    re->ctx = ac;
    re->e.fd = c->fd;
    re->e.r = r;
    // dont use event buffer, using hiredis's buffer
    re->e.in = NULL;
    re->e.out = NULL;
    re->mask = 0;

    ac->ev.addRead = redisAddRead;
    ac->ev.delRead = redisDelRead;
    ac->ev.addWrite = redisAddWrite;
    ac->ev.delWrite = redisDelWrite;
    ac->ev.cleanup = redisCleanup;
    ac->ev.data = re;
    return REDIS_OK;
}

总结

本文介绍了Redis的基本命令以及Redis协议中的部分内容。Redis是内存型数据库，围绕着内存的特性，Redis结合了lua脚本，分布式锁（最快的），异步连接等一系列特性。

参考链接：

https://github.com/0voice