Redis-缓存穿透&击穿&雪崩

陈卓4102025-03-12 18:49

1. 穿透问题

缓存穿透问题就是查询不存在的数据。在缓存穿透中，先查缓存，缓存没有数据，就会请求到数据库上，导致数据库压力剧增。

解决方法：

  1. 给不存在的key加上空值，防止每次都会请求到数据库。
  2. 布隆过滤器，做一次过滤

1.1 使用缓存空值解决缓存击穿问题

  1. 根据id=1来请求
  2. redis存在数据
    2.1. 存储的是空值{}，那么返回null
    2.2. 存储的不是空值，说明存储的是真实的数据库数据
  3. redis不存在数据
  4. 查询数据库
    4.1. 数据库存在数据，那么缓存数据到redis，返回真实的数据
    4.2. 数据库不存在数据，那么缓存空对象 {}，设置一个过期时间，返回空
java 复制代码 
@Component
public class RedisCacheClient {
    private final StringRedisTemplate stringRedisTemplate;

    public RedisCacheClient(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
    }

    private void set(String key, Object value, Long time, TimeUnit timeUnit) {
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, timeUnit);
    }

    private String get(String key) {
        return stringRedisTemplate.opsForValue().get(key);
    }

    public <ID, R> R queryWithPassThrough(String keyPrefix, ID id, Class<R> clazz,
                                          Function<ID, R> dbFallBack, Long time, TimeUnit unit) {
        String key = keyPrefix + id;
        // 1.从redis查询数据
        String json = get(key);
        // 2.判断数据是否存在
        if (RedisConstants.EMPTY_OBJECT_JSON.equals(json)) {
            return null; //缓存的空对象值
        }
        if (StrUtil.isNotEmpty(json)) {
            return JSONUtil.toBean(json, clazz);
        }
        // 3.不存在，根据id查询数据库
        R r = dbFallBack.apply(id);
        if (r != null) {
            set(key, r, time, unit);
            return r;
        }
        // 4.存储空对象
        set(key, RedisConstants.EMPTY_OBJECT_JSON /*{}*/, RedisConstants.CACHE_NULL_TTL, TimeUnit.SECONDS);
        return null;
    }
}

1.2 使用布隆过滤器做初次判断

对于恶意攻击，向服务器请求大量不存在的数据造成的缓存穿透，还可以用布隆过滤器先做一次过滤，对于不存在的数据，布隆过滤器一般都能够过滤掉，不让请求再往后端发送。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。

布隆过滤器就是一个大型的位数组和几个不一样的无偏 hash 函数。所谓无偏就是能够把元素的 hash 值算得比较均匀。

向布隆过滤器中添加 key 时，会使用多个 hash 函数对 key 进行 hash 算得一个整数索引值然后对位数组长度 进行取模运算得到一个位置，每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就 完成了 add 操作。向布隆过滤器询问 key 是否存在时，跟 add 一样，也会把 hash 的几个位置都算出来，看看位数组中这几个位置是否都为 1，只要有一个位为 0，那么说明布隆过滤器中这个key 不存在。如果都是 1，这并不能说明这个key 就一定存在，只是极有可能存在，因为这些位被置为 1 可能是因为其它的 key 存在所致。如果这个位数组比较稀疏，这个概率就会很大，如果这个位数组比较拥挤，这个概率就会降低。

这种方法适用于数据命中不高、 数据相对固定、 实时性低（通常是数据集较大） 的应用场景， 代码维护较为复杂， 但是缓存空间占用很少。

1.2.1 导入pom坐标
xml 复制代码 
<dependency>
  <groupId>org.redisson</groupId>
  <artifactId>redisson</artifactId>
  <version>3.13.6</version>
</dependency>
1.2.2 布隆过滤器代码示例
java 复制代码 
class Main {
    private RedissonClient redissonClient;

    void test() {
        RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("orderList");
        // 1.初始化布隆过滤器：预计元素为100000000L，误判率为3%，根据这两个参数会计算出底层的bit数组大小
        bloomFilter.tryInit(100000000L, 0.03);

        // 2.添加元素到bloomFilter
        bloomFilter.add("ayuan");

        // 3.判断下面的数据是否在布隆过滤器中
        System.out.println(bloomFilter.contains("asheng"));
        System.out.println(bloomFilter.contains("longge"));
        System.out.println(bloomFilter.contains("ayuan"));
    }
}

使用布隆过滤器需要把所有数据提前放入布隆过滤器，并且在增加数据时也要往布隆过滤器里放，布隆过滤器缓存过滤伪代码：

1.2.3 布隆过滤器实战
java 复制代码 
class Main {
    @Autowired
    private RedissonClient redissonClient;

    private RBloomFilter<String> bloomFilter;

    @PostConstruct
    void init() {
        // 1.初始化布隆过滤器
        bloomFilter = redissonClient.getBloomFilter("orderList");
        // 初始化布隆过滤器：预计元素为100000000L，误判率为3%，根据这两个参数会计算出底层的bit数组大小
        bloomFilter.tryInit(100000000L, 0.03);
        // 2.加载所有的数据加载到布隆过滤器
       // for (String key : keys) {
       //     bloomFilter.add(key);
       // }
    }

    @Test
    String get(String key) {
        // 3.从布隆过滤器这一级缓存判断key是否存在
        boolean isContains = bloomFilter.contains(key);
        if (!isContains) {
            return "";
        }
        // 4.业务逻辑开发
    }
}

但是布隆过滤器无法删除某一个元素，如果要删除得重新初始化数据

2. 击穿问题

缓存击穿中，请求的 key 对应的是热点数据 ，该数据存在于数据库中，但不存在于缓存中（通常是因为缓存中的那份数据已经过期） 。这就可能会导致瞬时大量的请求直接打到了数据库上，对数据库造成了巨大的压力，可能直接就被这么多请求弄宕机了。

解决方案：

  1. 基于互斥锁（看情况）：在缓存过期后，通过设置互斥锁确保只有一个请求去查询数据库并且更新缓存。
  2. 提前预热（推荐）：针对热点数据提前预热，并将其入缓存中并设置合理的过期事件，比如：秒杀场景下的数据在秒杀结束前永不过期。
  3. 数据永不过期（不推荐）：设置热点数据永不过期或者过期时间比较长。

2.1 基于互斥锁解决缓存击穿问题

java 复制代码 
@Component
public class RedisCacheClient {
    private final StringRedisTemplate stringRedisTemplate;
    private final RedissonClient redissonClient;

    public RedisCacheClient(StringRedisTemplate stringRedisTemplate, RedissonClient redissonClient) {
        this.stringRedisTemplate = stringRedisTemplate;
        this.redissonClient = redissonClient;
    }

    private void set(String key, Object value, Long time, TimeUnit timeUnit) {
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, timeUnit);
    }

    private String get(String key) {
        return stringRedisTemplate.opsForValue().get(key);
    }

    public <ID, R> R query(String keyPrefix, ID id, Class<R> clazz,
                                          Function<ID, R> dbFallBack, Long time, TimeUnit unit) {
        String key = keyPrefix + id;
        // 1.从redis查询数据
        String json = get(key);
        // 2.判断数据是否存在
        if (RedisConstants.EMPTY_OBJECT_JSON.equals(json)) {
            return null; //缓存的空对象值
        }
        if (StrUtil.isNotEmpty(json)) {
            return JSONUtil.toBean(json, clazz);
        }

        //加锁，防止缓存击穿问题 -> redis的热点key问题
        RLock redissonClientLock = redissonClient.getLock(RedisConstants.DISTRIBUTED_LOCK + key);
        redissonClientLock.lock(); //加锁
        try {
            //dcl判断锁是否存在了
            json = get(key);
            if (json != null) {
                return queryWithPassThrough(keyPrefix, id, clazz, dbFallBack, time, unit);
            }
            //3. 不存在，根据id查询数据库
            R r = dbFallBack.apply(id);
            if (r != null) {
                set(key, r, time, unit);
                return r;
            }
            // 存储空对象
            set(key, RedisConstants.EMPTY_OBJECT_JSON, RedisConstants.CACHE_NULL_TTL, TimeUnit.SECONDS);
            return null;
        } finally {
            redissonClientLock.unlock();
        }
    }
}

3. 雪崩问题

缓存宕机或者在同一时间大面积的失效，导致大量的请求都直接落到了数据库上，对数据库造成了巨大的压力。

解决方式：

  1. 设置随机失效时间(可选)：为缓存设置随机的失效时间，例如在固定过期时间的基础上加上一个随机值，这样可以避免大量缓存同时到期，从而减少缓存雪崩的风险。（例如：批量导入数据到redis的时候，如果设置过期时间一致，那么就会数据就会在同一时刻过期删除）。
  2. 多级缓存：设计多级缓存，例如本地缓存+Redis 缓存的二级缓存组合，当 Redis 缓存出现问题时，还可以从本地缓存中获取到部分数据。
  3. Redis集群：采用 Redis 集群，避免单机出现问题整个缓存服务都没办法使用。比如：Redis Sentinel哨兵集群、Redis Cluster分片集群。
  4. 限流：如果发现读请求太多，可以采用限流的策略。
相关推荐
加什么瓦2 分钟前
Redis——数据结构
数据库·redis·缓存
神仙别闹3 分钟前
基于C#+SQL Server开发（WinForm）租房管理系统
数据库·oracle·c#
5283031 分钟前
MySQL主从复制
数据库·mysql
qq_124987075339 分钟前
原生小程序+springboot+vue医院医患纠纷管理系统的设计与开发（程序+论文+讲解+安装+售后）
java·数据库·spring boot·后端·小程序·毕业设计
jie1889457586642 分钟前
ubuntu----100，常用命令2
数据库·ubuntu
若兰幽竹1 小时前
【HBase整合Hive】HBase-1.4.8整合Hive-2.3.3过程
数据库·hive·hbase
lybugproducer1 小时前
浅谈 Redis 数据类型
java·数据库·redis·后端·链表·缓存
青山是哪个青山1 小时前
Redis 常见数据类型
数据库·redis·bootstrap
杨不易呀1 小时前
Java面试全记录：Spring Cloud+Kafka+Redis实战解析
redis·spring cloud·微服务·kafka·高并发·java面试·面试技巧
廖圣平1 小时前
美团核销 第三方接口供应商 （含接口文档）
开发语言·数据库·php
热门推荐
01YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03KGG转MP3工具|非KGM文件|解密音频04DeepSeek各版本说明与优缺点分析05【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！06Coze扣子平台完整体验和实践（附国内和国际版对比）07VMware虚拟机安装Win7专业版保姆级教程（附镜像包）08组基轨迹建模 GBTM的介绍与实现（Stata 或 R）09苍穹外卖面试总结10YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU