Redis内存回收

目录

Redis可以通过修改配置文件maxmemory为Redis设置最大内存空间占用,当内存存储达到上限时,就无法存储更多数据了。

Redis提供了过期策略和淘汰策略来避免内存存储达到上限

一、过期策略

过期策略就是通过expire命令给key设置TTL,key过期时,key对应的内存会被释放。

redisDB维护两个Dict:dict、expires,dict记录所有redisObject-内存首址 键值对、expires记录设置了过期时间的redisObject-过期时间键值对。

1.惰性删除:

惰性删除在访问(CRUD)key时执行:首先根据key从dict中找到对应的redisObject,然后检查key记录在expires中的TTL,如果过期那么释放key的内存空间。

存在的问题:如果key过期了但是永远不会被访问,那么惰性删除策略下该key的内存空间永远不会被释放。

2.周期删除:

为所有key设置同一个定时任务,周期性的抽样部分key,检查是否过期,如果过期执行删除操作:

  • SLOW模式:redis单线程初始化时(初始化epoll阶段 )设置server.hz频率(默认100ms)定期检查并清理过期key,不在主线程main函数中
    • 执行周期为100ms,执行清理耗时不能超过25%即25ms
    • 首先逐个遍历 db,每次取20个key检查并清理过期key
    • 如果时间未达到25ms且刚才检查的过期key比例超过10%,再取20个key检查并清理。
    • (感觉这个任务每100ms执行一次的话,如果不是异步的,应该要抢占主单线程的CPU
  • FAST模式:每次redis单线程调用epoll_wait阻塞前 都会先检查并清理部分过期key(2ms左右)
    • 因为位于主线程的main代码中 ,所以执行周期为两次调用epoll_wait的间隔,但如果间隔低于2ms那么不会执行FAST清理直到两次FAST间隔大于2ms。 ,每次清理耗时不能超过1ms
    • 首先逐个遍历 db,每次取20个key检查并清理过期key
    • 如果时间未达到25ms且刚才检查的过期key比例超过10%,再取20个key检查并清理。

二、淘汰策略

淘汰策略就是Redis内存使用达到阈值时,主动挑选部分key删除以释放内存。

淘汰策略在主线程解析命令后处理命令前 执行,配置maxmemory-policy

  • noeviction:不淘汰任何key,内存满时不允许写入新数据,默认策略
  • volatile-ttl:对设置了TTL的key淘汰,TTL越小越先被淘汰
  • allkeys-random:对全体key(dict哈希表),随机淘汰。
  • volatile-random:对设置了TTL的key(expires哈希表),随机淘汰。
  • allkeys-lru:对全体key(dict哈希表),使用LRU算法进行淘汰。
  • volatile-lru:对设置了TTL的key(expires哈希表),使用LRU算法进行淘汰。
  • allkeys-lfu:对全体key(dict哈希表),使用LFU算法进行淘汰。
  • volatile-lfu:对设置了TTL的key(expires哈希表),使用LFU算法进行淘汰。

LRU:当前时间减最近一次访问时间 ,值越大优先淘汰。

LFU:访问次数越少优先淘汰。

key的访问次数和访问时间都会封装在redisObject对象 中:ptr指向key-value具体值

逻辑访问次数:由于8bit只能记录实际访问次数0~255,对于热key来说远远不够,所以使用逻辑访问次数

  1. key被访问时,生成一个0~1之间的随机数R
  2. 计算P=1/(旧访问次数*10+1)
  3. 如果R<P,计数器+1,最大不超过255
  4. 为了防止key长时间不访问但访问次数一直不变,访问次数随时间衰减,距离上一次访问间隔每隔1分钟计数器-1

也就是说逻辑访问次数越大 ,P越小,R<P的概率越小,计数器越难+1

相关推荐
程序员黑豆2 小时前
Java类型推断完全指南:从var到菱形运算符,掌握使用限制与最佳实践
java·前端·ai编程
To_OC3 小时前
踩了个 TS 的坑之后,我终于把 type 和 interface 掰明白了
前端·react.js·typescript
GreenTea3 小时前
深度解读 Anthropic 多智能体报告:更强的模型 ≠ 更好的协调
前端·后端·算法
浮生望3 小时前
前端API工程化:用 Mock 数据与 Axios 配置实现独立于后端的并行开发
前端
2603_965148114 小时前
如何解析JSON数据?API返回的商品信息处理教程
开发语言·数据库·python·自动化·json·api
ltl4 小时前
RocksDB 经典故障排查:L0、compaction 与 write stall
数据库
万少4 小时前
给 DeepSeek Harness 装个"应用商店":一条命令,595 个插件随你逛
前端·javascript·后端
波波0074 小时前
C# 15 重磅新特性: 带标签 break 与 continue:重新定义嵌套循环控制流
服务器·前端·c#
xfhuangfu5 小时前
Oracle中建立到CDB和PDB的连接
数据库·oracle·rpc
Brown.alexis5 小时前
es6知识点1-自备使用
前端·ecmascript·es6