Redis的过期删除策略和内存淘汰策略

定义

过期删除策略:是指Redis如何处理哪些设置了过期时间的key

内存淘汰策略:是指当Redis内存不足以容纳新写入数据时,如何选择淘汰部分数据以释放空间

常见的过期删除策略

1、定时删除

2、惰性删除

3、定期删除

定时删除

概念:定时删除策略的做法是,在设置key的过期时间时,创建一个定时事件,当时间到达的时候由时间处理器自动执行key的删除操作

优点:可以保证过期的key会被尽快删除,也就是内存可以被尽快释放。因此,定时删除对内存是最友好的

缺点:在过期的key较多的情况下,删除过期key可能会占用相当一部分CPU的时间,在内存不紧张但CPU时间简章的情况下,将CPU时间用于删除和当前任务无关的过期键上,无疑会对服务器的响应时间和吞吐量造成影响。所以,定时删除策略对CPU不友好

实现方式:Redis使用了一个成为"时间轮"(Timing Wheel)的数据结构来管理过期事件。时间轮是一种高效的定时器实现方式,它可以将多个定时任务映射到一个固定大小的环形数组上,通过计算任务的延迟时间和时间轮的当前位置来确定任务的执行时间

惰性删除

概念:惰性删除的做法是,不主动删除过期键,每次从数据库访问key时,都检测key是否过期,如果过期则删除该key

优点:每次访问的时候,才会检查key是否过期,所以此策略只会使用很少的系统资源,因此惰性删除策略对CPU最友好

缺点:如果一个key已经过期,而这个key有仍然保留在数据库中,name只要这个过期key一直没被访问,他所占用的内存就不会被释放,造成了一定的内存空间浪费,所以惰性删除策略对内存不友好

实现方式:Redis的惰性删除策略由db.c文件中的expirelfNeeded函数实现,代码如下

复制代码
int expireIfNeeded(redisDb *db, robj *key) {
    // 判断 key 是否过期
    if (!keyIsExpired(db,key)) return 0;
    ....
    /* 删除过期键 */
    ....
    // 如果 server.lazyfree_lazy_expire 为 1 表示异步删除,反之同步删除;
    return server.lazyfree_lazy_expire ? dbAsyncDelete(db,key) :
                                         dbSyncDelete(db,key);
}

Redis在访问或者修改key之前,都会调用expirelfNeeded函数对其进行检查,检查key是否过期

如果过期,则删除该key,至于选择异步删除还是同步删除,根据lazyfree_lazy_expire 参数配置决定(Redis 4.0版本开始提供参数),然后返回 null 客户端;

如果没有过期,不做任何处理,然后返货正常的键值对给客户端

定期过期

概念:定期删除策略的做法是,每个一段时间「随机」从数据库中取出一定数量的key进行检查,并删除其中过期的key

优点:通过限制删除操作执行的时长和频率,来减少删除操作对CPU的影响,同时也能删除一部分过期数据减少了过期键对空间的无效占用

缺点:内存清理方面没有定时删除效果好,同时没有惰性删除使用的系统资源少

难以确定删除操作执行时长和频率,如果执行的太频繁,定期删除策略变得和定时删除策略一样,对于CPi不友好:如果执行的太少,又和惰性删除一样,过期的key占用的内存不能及时释放

实现方式

这个间隔检查的时间是多长?

在Redis中,默认每100ms进行一次过期检查,此配置可通过Redis的配置文件redis.conf进行配置,配置键为hz他的默认值是hz 10

特别强调下,每次检查数据库并不是便利过期字典中的所有key,而是从数据库中随机抽取一定数量的key进行过期检查

随机抽查的数量是多少呢?

在源码中,定期删除的实现在expire.c文件下的activeExpireCycle函数中,其中随机抽查的数量有

ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 定义的,它是写死在代码中的,数值是 20。

也就是说,数据库每轮抽查时,会随机选择 20 个 key 判断是否过期。

接下来,详细说说 Redis 的定期删除的流程:

  1. 从过期字典中随机抽取 20 个 key;
  2. 检查这 20 个 key 是否过期,并删除已过期的 key;
  3. 如果本轮检查的已过期 key 的数量,超过 5 个(20/4),也就是「已过期 key 的数量」占比「随机抽取 key 的数量」大于 25%,则继续重复步骤 1;如果已过期的 key 比例小于 25%,则停止继续删除过期 key,然后等待下一轮再检查。

可以看到,定期删除是一个循环的流程。

那 Redis 为了保证定期删除不会出现循环过度,导致线程卡死现象,为此增加了定期删除循环流程的时间上限,默认不会超过 25ms。

针对定期删除的流程,以下是删除策略的伪代码:

复制代码
do {
    //已过期的数量
    expired = 0;
    //随机抽取的数量
    num = 20;
    while (num--) {
        //1. 从过期字典中随机抽取 1 个 key
        //2. 判断该 key 是否过期,如果已过期则进行删除,同时对 expired++
    }
    
    // 超过时间限制则退出
    if (timelimit_exit) return;

  /* 如果本轮检查的已过期 key 的数量,超过 25%,则继续随机抽查,否则退出本轮检查 */
} while (expired > 20/4); 

内存淘汰策略

如何设置Redis最大运行内存

在配置文件redis.conf中可以通过参数maxmemory来设定最大运行内存,只有在Redis的运行内存达到了我们设置的最大运行内存,才会触发内存淘汰策略。不同位数的操作系统,maxmemory的默认值是不同的

在64为操作系统中,maxmemory的默认值是0,表示没有内存大小限制,那么不管用户存放多少数据到Redis中,Redis也不会对可用内存进行检查,直到Redis实例因为内存不足而崩溃也无作为

在32位操作系统中,maxmemory的默认值是3G,因为32位的机器最大只支持4GB的内存,而系统本身就需要一定的内存资源来支持运行,所以32位操作系统限制最大3GB的可用内存是非常合理的,这样可以避免因为内存不足而导致Redis实例崩溃

Redis内存淘汰策略有哪些

Redis内存淘汰策略共有八种,这八种策略大体分为「不进行数据淘汰」和「进行数据淘汰」两种策略

  • 1.不进行数据淘汰的策略

noeviction(Redis3.0之后,默认的内存淘汰策略) :它表示当运行内存超过最大设置内存时,不淘汰任何数据,而是不再提供服务,直接返回错误。

  • 2.进行数据淘汰的策略

针对「进行数据淘汰」这一类策略,又可以细分为「在设置了过期时间的数据中进行淘汰」和「在所有数据范围内进行淘汰」这两类策略。

(1)在设置了过期时间的数据中进行淘汰:

  • volatile-random:随机淘汰设置了过期时间的任意键值;
  • volatile-ttl:优先淘汰更早过期的键值。
  • volatile-lru(Redis3.0 之前,默认的内存淘汰策略):淘汰所有设置了过期时间的键值中,最久未使用的键值;
  • volatile-lfu(Redis 4.0 后新增的内存淘汰策略):淘汰所有设置了过期时间的键值中,最少使用的键值;

(2)在所有数据范围内进行淘汰:

  • allkeys-random:随机淘汰任意键值;
  • allkeys-lru:淘汰整个键值中最久未使用的键值;
  • allkeys-lfu(Redis 4.0 后新增的内存淘汰策略):淘汰整个键值中最少使用的键值。

如何查看当前 Redis 使用的内存淘汰策略?

可以使用 config get maxmemory-policy 命令,来查看当前 Redis 的内存淘汰策略,命令如下:

可以看出,当前 Redis 使用的是 noeviction 类型的内存淘汰策略,它是 Redis 3.0 之后默认使用的内存淘汰策略,表示当运行内存超过最大设置内存时,不淘汰任何数据,但新增操作会报错。

如何修改 Redis 内存淘汰策略?

设置内存淘汰策略有两种方法:

  • 方式一:通过"config set maxmemory-policy <策略>"命令设置。它的优点是设置之后立即生效,不需要重启 Redis 服务,缺点是重启 Redis 之后,设置就会失效。
  • 方式二:通过修改 Redis 配置文件修改,设置"maxmemory-policy <策略>",它的优点是重启 Redis 服务后配置不会丢失,缺点是必须重启 Redis 服务,设置才能生效。
相关推荐
時肆4852 小时前
MySQL数据可视化实战指南
数据库·mysql·信息可视化
yumgpkpm2 小时前
基于GPU的Spark应用加速 Cloudera CDP/华为CMP鲲鹏版+Nvidia英伟达联合解决方案
大数据·数据库·人工智能·hadoop·elasticsearch·spark·cloudera
一人の梅雨2 小时前
阿里巴巴商品详情接口实战:B2B供应链视角下的高可用集成与数据价值挖掘
大数据·数据库·人工智能
天码-行空2 小时前
Oracle 19c(19.3.0.0)完整安装教程(Windows+Linux双环境)
linux·运维·数据库·oracle
Mr__Miss2 小时前
Redis的多级缓存
数据库·redis·缓存
麦聪聊数据2 小时前
后端不再是瓶颈:如何通过“API 编排协作”重塑数据交付流程?
数据库·sql·mysql
企业对冲系统官2 小时前
价格风险管理平台审批角色配置与权限矩阵设计
大数据·运维·开发语言·前端·网络·数据库·矩阵
莫叫石榴姐2 小时前
用SQL实现三次指数平滑预测:递归与非递归两种解法详解
大数据·数据库·sql
风之子npu2 小时前
CPU基础知识-缓存的基本概念
缓存