Redis 大/热Key故障处理流程

一、背景

应用持续访问又大又热的key,会造成Redis实例CPU高、流量被打满、数据在内存积压,甚至导致实例达到配额限制被oom-kill。在异步调用、pipeline、mget等批量调用场景比较常见。

大key分为两种情况

  • 集合元素多且全量获取集合数据:命令时间复杂度是O(N),持续访问这样的key会导致CPU打满,业务响应变慢,甚至超时。而且响应得不到及时发送,积压在内存,最终触发oom-kill。
  • value占用内存大:持续访问这样的key会导致响应不过来(很小的请求也会造成较大的响应),从而造成返回给客户端的数据积压在Server内存,最终触发oom-kill。

二、如何发现问题

Redis集群侧会收到端口阻塞、客户端缓冲区高、实例内存高报警,推测可能是大/热key。

应用侧看到Redis服务性能变差、甚至出现大量超时。

三、问题处理过程

1、 Redis侧关闭集群Failover

Redis值班同学收到告警后,会关闭该集群的自动failover,避免该分片上所有副本被打死导致数据丢失。同时会第一时间联系业务研发,双方一起定位出问题的key

2、研发和 Redis侧一起定位出问题的key

Redis侧:抓包(大key导致命令阻塞,只能抓包分析)、热key扫描工具

业务研发侧:日志等信息

3、选择一种合适的方式处理key

确认导致问题的key后,可以选择下面三种方式任意一种进行处理

1、对key限流(需要应用侧具备按照key限流能力)

2、在Redis客户端开启本地缓存

3、删除key或者将key设置成一个很小的值(需要权限,对业务有影响,key设置成小值,可以避免数据回源打挂数据库)

4、处理key完成后同步给Redis侧,JIMDB侧开启集群自动Redis,恢复服务

如果原来的主实例被打死,此时会自动Failover,Failover完成后业务恢复访问。

相关推荐
半新半旧8 小时前
python 整合使用 Redis
redis·python·bootstrap
daixin884811 小时前
什么是缓存雪崩?缓存击穿?缓存穿透?分别如何解决?什么是缓存预热?
java·开发语言·redis·缓存
daixin884813 小时前
Redis过期数据的删除策略是什么?有哪些?
数据库·redis·缓存
幻灭行度16 小时前
通过redis_exporter监控redis cluster
数据库·redis·缓存
冷崖19 小时前
Redis缓存策略以及bigkey的学习(九)
redis·学习·缓存
chen1108____2 天前
用 Docker 一键部署 Flask + Redis 微服务
redis·docker·flask
失散132 天前
大型微服务项目:听书——10 缓存+分布式锁优化根据专辑id查询专辑详情接口
redis·分布式·缓存·微服务
Aeside12 天前
Redis的线程模型
redis
white camel2 天前
分布式方案 一 分布式锁的四大实现方式
redis·分布式·zookeeper·分布式锁
大佐不会说日语~2 天前
Redis高可用架构演进面试笔记
redis·面试·架构