Redis--内存管理(过期删除和内存淘汰策略)

内存管理

内存管理

过期删除策略

Redis 是可以对 key 设置过期时间的,因此需要有相应的机制将已过期的键值对删除,而做这个工作的就是过期键值删除策略。

如何设置过期时间?

在 Redis 中,你可以使用以下四种命令为 Key 设置到期时间:

  • EXPIRE:以为单位,设置 Key 的有效时间。
  • PEXPIRE:以毫秒为单位,设置 Key 的有效时间。
  • EXPIREAT:以为单位,设置 Key 的到期时间戳。
  • PEXPIREAT:以毫秒为单位,设置 Key 的到期时间戳。

其中,前两者指定的是 Key 的有效时长 ,而后两者指定的是 Key 到期时间点

不过,在 Redis 底层实现中,四种命令最终都会变为 Key 到期时间点对应的时间戳,并被记录在一个到期字典中(哈希表)。

过期删除策略有哪些?

包括惰性删除和定期删除。

惰性删除策略:不主动删除过期键,每次从数据库访问 key 时,都检测 key 是否过期,如果过期则删除该 key。

惰性删除策略的优点

  • 因为每次访问时,才会检查 key 是否过期,所以此策略只会使用很少的系统资源,因此,惰性删除策略对 CPU 时间最友好。

惰性删除策略的缺点

  • 如果一个 key 已经过期,而这个 key 又仍然保留在数据库中,那么只要这个过期 key 一直没有被访问,它所占用的内存就不会释放,,造成了一定的内存空间浪费。所以,惰性删除策略对内存不友好。

定时删除策略:每隔一段时间「随机」从数据库中取出一定数量的 key 进行检查,并删除其中的过期key。

Redis 的定期删除的流程:

  1. 从过期字典中随机抽取 20 个 key;
  2. 检查这 20 个 key 是否过期,并删除已过期的 key;
  3. 如果本轮检查的已过期 key 的数量,超过 5 个(20/4),也就是「已过期 key 的数量」占比「随机抽取 key 的数量」大于 25%,则继续重复步骤 1;如果已过期的 key 比例小于 25%,则停止继续删除过期 key,然后等待下一轮再检查。

定期删除策略的优点

  • 通过限制删除操作执行的时长和频率,来减少删除操作对 CPU 的影响,同时也能删除一部分过期的数据减少了过期键对空间的无效占用。

定期删除策略的缺点

  • 难以确定删除操作执行的时长和频率。如果执行的太频繁,就会对 CPU 不友好;如果执行的太少,那又和惰性删除一样了,过期 key 占用的内存不会及时得到释放。

Redis使用的过期删除策略是什么?

Redis 是可以对 key 设置过期时间的,因此需要有相应的机制将已过期的键值对删除,而做这个工作的就是过期键值删除策略。

每当我们对一个 key 设置了过期时间时,Redis 会把该 key 带上过期时间存储到一个过期字典(expires dict)中,也就是说「过期字典」保存了数据库中所有 key 的过期时间。

当我们查询一个 key 时,Redis 首先检查该 key 是否存在于过期字典中:

  • 如果不在,则正常读取键值;
  • 如果存在,则会获取该 key 的过期时间,然后与当前系统时间进行比对,如果比系统时间大,那就没有过期,否则判定该 key 已过期。

Redis 使用的过期删除策略是「惰性删除+定期删除」这两种策略配和使用。

Redis持久化时,过期键如何处理?

Redis 使用 AOF 与 RBD 两种方式来持久化内存中数据,这个过程同样需要考虑如何处理过期的 key:

  • AOF:当 Key 因为到期而被删除时,将会向 AOF 追加一条 DEL 命令 。如果在这个过程中进行了 AOF 重写,那么重写后的 AOF 文件中则将直接忽略掉这个过期的 Key。
  • RDB:与 AOF 重写类似,在创建 RDB 的时候,过期的 Key 会被直接忽略

Redis在集群模式下,对过期键如何处理?

当集群中的实例发现 Key 到期后,实例会根据它自己是主节点还是从节点而采取不同的行为:

  • 如果是主节点 ,它会在删除这个过期 Key 后向所有从节点发送一个 DEL 命令。
  • 如果是从节点 ,那么它将会将这个 Key 标记为到期,但并不会真正的删除。只有当接到从主节点发来的 DEL 命令之后,才会真正的将过期键删除掉。

从节点不会主动删除 key,这是为了保证与主节点数据的一致性,以便当主从切换时后,仍然可以正常的处理过期 key。

内存淘汰策略

Redis 内存满了,会发生什么?

在 Redis 的运行内存达到了某个阀值,就会触发内存淘汰机制,这个阀值就是我们设置的最大运行内存,此值在 Redis 的配置文件中可以找到,配置项为 maxmemory。

Redis 内存淘汰策略有哪些?

Redis 内存淘汰策略共有八种,这八种策略大体分为「不进行数据淘汰」和「进行数据淘汰」两类策略。

1、不进行数据淘汰的策略

noeviction(Redis3.0之后,默认的内存淘汰策略) :它表示当运行内存超过最大设置内存时,不淘汰任何数据,而是不再提供服务,直接返回错误。

2、进行数据淘汰的策略

针对「进行数据淘汰」这一类策略,又可以细分为「在设置了过期时间的数据中进行淘汰」和「在所有数据范围内进行淘汰」这两类策略。 在设置了过期时间的数据中进行淘汰:

  • volatile-random:随机淘汰设置了过期时间的任意键值;
  • volatile-ttl:优先淘汰更早过期的键值。
  • volatile-lru(Redis3.0 之前,默认的内存淘汰策略):淘汰所有设置了过期时间的键值中,最久未使用的键值;
  • volatile-lfu(Redis 4.0 后新增的内存淘汰策略):淘汰所有设置了过期时间的键值中,最少使用的键值;

在所有数据范围内进行淘汰:

  • allkeys-random:随机淘汰任意键值;
  • allkeys-lru:淘汰整个键值中最久未使用的键值;
  • allkeys-lfu(Redis 4.0 后新增的内存淘汰策略):淘汰整个键值中最少使用的键值。

LRU算法和LFU算法的区别?

LRU 全称是 Least Recently Used 翻译为最近最少使用,会选择淘汰最近最少使用的数据。

Redis 是如何实现 LRU 算法的?

Redis 实现的是一种近似 LRU 算法 ,目的是为了更好的节约内存,它的实现方式是在 Redis 的对象结构体中添加一个额外的字段,用于记录此数据的最后一次访问时间

当 Redis 进行内存淘汰时,会使用随机采样的方式来淘汰数据 ,它是随机取 5 个值(此值可配置),然后淘汰最久没有使用的那个

Redis 实现的 LRU 算法的优点:

  • 不用为所有的数据维护一个大链表,节省了空间占用;
  • 不用在每次数据访问时都移动链表项,提升了缓存的性能;

但是 LRU 算法有一个问题,无法解决缓存污染问题,比如应用一次读取了大量的数据,而这些数据只会被读取这一次,那么这些数据会留存在 Redis 缓存中很长一段时间,造成缓存污染。

因此,在 Redis 4.0 之后引入了 LFU 算法来解决这个问题。

什么是 LFU 算法?

LFU 全称是 Least Frequently Used 翻译为最近最不常用的,LFU 算法是根据数据访问次数来淘汰数据的,它的核心思想是"如果数据过去被访问多次,那么将来被访问的频率也更高"。

所以, LFU 算法会记录每个数据的访问次数。当一个数据被再次访问时,就会增加该数据的访问次数。

Redis 是如何实现 LFU 算法的?

LFU 算法相比于 LRU 算法的实现,多记录了「数据的访问频次」的信息。Redis 对象的结构如下:

c 复制代码
typedef struct redisObject {
    // 24 bits,用于记录对象的访问信息
    unsigned lru:24;
} robj;
相关推荐
来恩1003几秒前
C# 异常处理全解析
java·数据库·c#
V+zmm1013429 分钟前
基于微信小程序的医院综合服务平台的设计与实现ssm+论文源码调试
java·数据库·微信小程序·小程序·毕业设计
昊昊该干饭了1 小时前
SQL 中的谓词逻辑
数据库·sql·oracle
fc&&fl1 小时前
python:csv文件批量导入mysql
数据库·mysql
m0_748248941 小时前
MySQL系列之远程管理(安全)
数据库·mysql·安全
shinelord明3 小时前
【SQL技术】不同数据库引擎 SQL 优化方案剖析
大数据·开发语言·数据库·sql
m0_674031434 小时前
Spring boot启动原理及相关组件
数据库·spring boot·后端
我科绝伦(Huanhuan Zhou)5 小时前
MySQL万能备份脚本
数据库·mysql
xiaowu0805 小时前
LiteDB 使用教程
数据库·oracle
努力成为DBA的小王5 小时前
Oracle(windows安装遇到的ORA-12545、ORA-12154、ORA-12541、ORA-12514等问题)
linux·运维·服务器·数据库·oracle