Redis内存回收

目录

Redis可以通过修改配置文件maxmemory为Redis设置最大内存空间占用,当内存存储达到上限时,就无法存储更多数据了。

Redis提供了过期策略和淘汰策略来避免内存存储达到上限

一、过期策略

过期策略就是通过expire命令给key设置TTL,key过期时,key对应的内存会被释放。

redisDB维护两个Dict:dict、expires,dict记录所有redisObject-内存首址 键值对、expires记录设置了过期时间的redisObject-过期时间键值对。

1.惰性删除:

惰性删除在访问(CRUD)key时执行:首先根据key从dict中找到对应的redisObject,然后检查key记录在expires中的TTL,如果过期那么释放key的内存空间。

存在的问题:如果key过期了但是永远不会被访问,那么惰性删除策略下该key的内存空间永远不会被释放。

2.周期删除:

为所有key设置同一个定时任务,周期性的抽样部分key,检查是否过期,如果过期执行删除操作:

  • SLOW模式:redis单线程初始化时(初始化epoll阶段 )设置server.hz频率(默认100ms)定期检查并清理过期key,不在主线程main函数中
    • 执行周期为100ms,执行清理耗时不能超过25%即25ms
    • 首先逐个遍历 db,每次取20个key检查并清理过期key
    • 如果时间未达到25ms且刚才检查的过期key比例超过10%,再取20个key检查并清理。
    • (感觉这个任务每100ms执行一次的话,如果不是异步的,应该要抢占主单线程的CPU
  • FAST模式:每次redis单线程调用epoll_wait阻塞前 都会先检查并清理部分过期key(2ms左右)
    • 因为位于主线程的main代码中 ,所以执行周期为两次调用epoll_wait的间隔,但如果间隔低于2ms那么不会执行FAST清理直到两次FAST间隔大于2ms。 ,每次清理耗时不能超过1ms
    • 首先逐个遍历 db,每次取20个key检查并清理过期key
    • 如果时间未达到25ms且刚才检查的过期key比例超过10%,再取20个key检查并清理。

二、淘汰策略

淘汰策略就是Redis内存使用达到阈值时,主动挑选部分key删除以释放内存。

淘汰策略在主线程解析命令后处理命令前 执行,配置maxmemory-policy

  • noeviction:不淘汰任何key,内存满时不允许写入新数据,默认策略
  • volatile-ttl:对设置了TTL的key淘汰,TTL越小越先被淘汰
  • allkeys-random:对全体key(dict哈希表),随机淘汰。
  • volatile-random:对设置了TTL的key(expires哈希表),随机淘汰。
  • allkeys-lru:对全体key(dict哈希表),使用LRU算法进行淘汰。
  • volatile-lru:对设置了TTL的key(expires哈希表),使用LRU算法进行淘汰。
  • allkeys-lfu:对全体key(dict哈希表),使用LFU算法进行淘汰。
  • volatile-lfu:对设置了TTL的key(expires哈希表),使用LFU算法进行淘汰。

LRU:当前时间减最近一次访问时间 ,值越大优先淘汰。

LFU:访问次数越少优先淘汰。

key的访问次数和访问时间都会封装在redisObject对象 中:ptr指向key-value具体值

逻辑访问次数:由于8bit只能记录实际访问次数0~255,对于热key来说远远不够,所以使用逻辑访问次数

  1. key被访问时,生成一个0~1之间的随机数R
  2. 计算P=1/(旧访问次数*10+1)
  3. 如果R<P,计数器+1,最大不超过255
  4. 为了防止key长时间不访问但访问次数一直不变,访问次数随时间衰减,距离上一次访问间隔每隔1分钟计数器-1

也就是说逻辑访问次数越大 ,P越小,R<P的概率越小,计数器越难+1

相关推荐
周杰伦的稻香28 分钟前
MySQL中常见的慢查询与优化
android·数据库·mysql
冉冰学姐31 分钟前
SSM学生社团管理系统jcjyw(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架·学生社团管理系统·多角色管理
悟能不能悟1 小时前
前端上载文件时,上载多个文件,但是一个一个调用接口,怎么实现
前端
nvd111 小时前
深入分析:Pytest异步测试中的数据库会话事件循环问题
数据库·pytest
appearappear1 小时前
如何安全批量更新数据库某个字段
数据库
可问春风_ren2 小时前
前端文件上传详细解析
前端·ecmascript·reactjs·js
·云扬·2 小时前
MySQL 常见存储引擎详解及面试高频考点
数据库·mysql·面试
羊小猪~~3 小时前
【QT】--文件操作
前端·数据库·c++·后端·qt·qt6.3
coding-fun3 小时前
电子发票批量提取导出合并助手
大数据·数据库
leo_2323 小时前
备份&恢复--SMP(软件制作平台)语言基础知识之三十九
数据库·数据安全·开发工具·smp(软件制作平台)·应用系统