Redis企业开发实战(二)——点评项目之商户缓存查询

缓存数据存储于代码中，而代码运行在内存中，内存的读写性能远高于磁盘，缓存可以**大大降低用户访问并发量带来的服务器读写压力。**实际开发过程中，企业的数据量，少则几十万，多则几千万，这么大数据量，如果没有缓存来作为"避震器"，系统是几乎撑不住的，所以企业会大量运用到缓存技术。但是缓存也会增加代码复杂度和运营的成本：

缓存的作用：

降低后端负载

提高读写效率，降低响应时间

缓存的成本：

数据一致性成本

代码维护成本

运维成本

二、缓存更新策略

读操作：

缓存命中则直接返回

缓存未命中则查询数据库，并写入缓存，设定超时时间

写操作：

先写数据库，再删除缓存

要确保数据库与缓存操作的原子性

三、如何保证redis与数据库一致性

1.解决方案概述

2.双写策略

在更新数据库的同时也更新缓存，以保证两者的数据同步。

3.双删策略

在更新数据库前和之后对缓存进行两次删除操作

3.1延迟双删的目的

减少缓存穿透的时间窗口 ：第一次删除是为了立即让旧的缓存失效，防止后续请求获取到过期的数据 。而第二次删除主要是为了确保在这段时间内，如果有任何尝试将旧数据重新写入缓存的操作，可以被清理掉，避免脏数据进入缓存。

降低缓存击穿的风险：通过延迟一段时间再进行第二次删除，希望这段时间足够让第一个读取数据库并更新缓存的操作完成，从而减少其他并发请求同时查询数据库的可能性。

4.数据重要程度划分

四、缓存穿透

缓存穿透是指，客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。

(一)缓存穿透解决方案

1.缓存空对象

优点：实现简单，维护方便；缺点：额外的内存消耗；可能造成短期的不一致

2.布隆过滤器

优点：内存占用较少，没有多余key；缺点：实现复杂；存在误判可能

3.检查非法请求，封禁其IP及其账号
4.增强id的复杂度，避免被猜测id规律
5.做好数据的基础格式校验
6.加强用户权限校验
7.做好热点参数的限流

(二)缓存穿透示意图

五、缓存雪崩

缓存雪崩是指，在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。

(一)缓存雪崩解决方案

针对key失效，给不同的Key的TTL添加随机值

针对Redis服务宕机，利用Redis集群提高服务的可用性

给缓存业务添加降级限流策略

给业务添加多级缓存

(二)缓存雪崩示意图

六、缓存击穿(热点Key问题)

缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。

(一)缓存击穿解决方案

1.互斥锁

因为锁能实现互斥性。假设线程过来，只能一个人一个人的来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能，因为此时会让查询的性能从并行变成了串行，可以采用tryLock方法 + double check来解决这样的问题。

假设现在线程1过来访问，他查询缓存没有命中，但是此时他获得到了锁的资源，那么线程1就会一个人去执行逻辑，假设现在线程2过来，线程2在执行过程中，并没有获得到锁，那么线程2就可以进行到休眠，直到线程1把锁释放后，线程2获得到锁，然后再来执行逻辑，此时就能够从缓存中拿到数据了。

2.逻辑过期

把过期时间设置在 redis的value中。注意：这个过期时间并不会直接作用于redis，而是我们后续通过逻辑去处理。

假设线程1去查询缓存，然后从value中判断出来当前的数据已经过期了，此时线程1去获得互斥锁，那么其他线程会进行阻塞，获得了锁的线程他会开启一个新的线程，去进行以前的重构数据的逻辑，直到新开的线程完成这个逻辑后，才释放锁，而线程1直接进行返回，假设现在线程3过来访问，由于线程线程2持有着锁，所以线程3无法获得锁，线程3也直接返回数据，只有等到新开的线程2把重建数据构建完后，其他线程才能走返回正确的数据。

这种方案巧妙在于，异步的构建缓存，缺点在于在构建完缓存之前，返回的都是脏数据。

3.两种解决方案对比

互斥锁方案：由于保证了互斥性，所以数据一致，且实现简单，因为仅仅只需要加一把锁而已，也没其他的事情需要操心，所以没有额外的内存消耗，缺点在于有锁就有死锁问题的发生，且只能串行执行性能肯定受到影响。

逻辑过期方案：线程读取过程中不需要等待，性能好，有一个额外的线程持有锁去进行重构数据，但是在重构数据完成前，其他的线程只能返回之前的数据，且实现起来麻烦。

|----------|----------------------------|-----------------------------------|
| 解决方案 | 优点 | 缺点 |
| 互斥锁 | * 没有额外的内存消耗 * 保证一致性 * 实现简单 | * 现成需要等待，性能受影响 * 可能有死锁风险 |
| 逻辑过期 | * 现成无需等待，性能较好 | * 不保证一致性 * 存储过期时间，有额外的内存消耗 * 实现复杂 |

4.CAP理论

4.1CAP理论概述

CAP理论是分布式系统设计中的一个基础概念，由计算机科学家Eric Brewer在2000年提出。该理论指出，在任何分布式系统中，无法同时满足以下三个属性：

1.Consistency(一致性)：每个读操作都能看到最近的一次写操作的结果。这意味着，在任意时刻，所有节点访问的数据都是最新的且一致的。换句话说，系统的状态看起来就像只有一个副本一样。

2.Availability(可用性)：每个请求都能接收到响应，而不论该响应是否成功。即系统总是可以正常处理客户端的请求，即使部分组件出现故障。这保证了服务的持续可用性。

3.Partition Tolerance(分区容错性)：即使网络发生分区故障（即部分节点之间无法通信），系统仍然能够继续运行并提供服务。由于网络分区几乎是不可避免的现实，因此大多数分布式系统都必须支持分区容错性。

4.2CAP理论的核心观点

根据CAP理论，在网络可能发生分区的情况下，系统只能在一致性和可用性之间做出选择，也就是说，无法同时实现所有三个特性。具体来说：

CP(一致性和分区容错性)：在这种情况下，系统会选择保证数据的一致性，即使这意味着在某些情况下需要牺牲可用性。当网络分区发生时，系统可能会阻止某些操作，直到确保所有节点的数据是一致的。

AP(可用性和分区容错性)：这种系统会优先保证服务的可用性，即使在网络分区期间可能暂时牺牲数据的一致性。这意味着所有节点都可以接受请求，但不同节点上的数据可能不完全一致，直到网络恢复并且数据同步完成。

值得注意的是，虽然理论上不可能同时达到这三个目标，但在实践中，很多系统会采用"最终一致性"的策略来平衡一致性和可用性，允许短时间内数据不一致，但通过异步复制等机制保证最终所有节点的数据达成一致。

4.3实际应用中的考量

在实际的分布式系统设计中，开发者通常需要基于业务需求和应用场景来权衡这些属性：

对于一些金融交易系统或银行应用，可能更倾向于选择CP系统，因为数据的一致性至关重要。

对于社交网络或在线论坛这样的应用，可能会选择AP系统，因为高可用性和用户体验更为重要，而短时间内的数据不一致是可以接受的。

4.4结合其他技术手段优化

此外，现代分布式系统还会结合使用其他技术手段来优化性能和可靠性，例如：

Quorum机制：通过设置读写成功的条件来调整一致性和可用性的平衡。

版本控制和冲突解决机制：允许存在短暂的数据不一致，并提供机制解决后续的数据冲突问题。

缓存、异步复制、读写分离等：利用这些技术可以在一定程度上缓解一致性和可用性之间的矛盾。

七、封装工具类

java 复制代码

@Component
@Slf4j
public class CacheClient {
    private final StringRedisTemplate stringRedisTemplate;

    // 线程池
    private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);

    public CacheClient(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
    }

    // 存放缓存数据
    public void set(String key, Object value, Long time, TimeUnit unit) {
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, unit);
    }

    // 设置逻辑过期
    public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit) {
        RedisData redisData = new RedisData();
        redisData.setData(value);
        redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));
    }

    // 设置缓存穿透方法
    public <R, ID> R queryWithPassThrough(
            String keyPrefix,
            ID id,
            Class<R> type,
            Function<ID, R> dbFallback,
            Long time,
            TimeUnit unit) {
        // 设置缓存key
        String key = keyPrefix + id;
        // 去redis中查询
        String json = stringRedisTemplate.opsForValue().get(key);
        if (StrUtil.isNotBlank(json)) {
            // 如果存在，则直接返回
            return JSONUtil.toBean(json, type);
        }
        // 如果缓存中没有查到，则判断是否为空值
        if (json != null) {
            // 不是空值，返回null
            return null;
        }

        // 缓存中不存在，查询数据库
        R r = dbFallback.apply(id);
        // 如果数据库中不存在，则存储空值，并设置有效期
        if (r == null) {
            stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
            // 返回错误信息
            return null;
        }
        // 数据库中存在，则写入redis中
        this.set(key, r, time, unit);
        return r;
    }

    // 设置逻辑过期缓存击穿方法
    public <R, ID> R queryWithLogicalExpire(
            String keyPrefix,
            ID id,
            Class<R> type,
            Function<ID, R> dbFallback,
            Long time,
            TimeUnit unit) {
        // 设置缓存查询的key
        String key = keyPrefix + id;
        // 去redis中查询，如果未命中
        String json = stringRedisTemplate.opsForValue().get(key);
        if (StrUtil.isBlank(json)) {
            // 找到之前存放的空值，直接返回null
            return null;
        }

        // 如果redis未命中，先将json反序列化为对象
        RedisData redisData = JSONUtil.toBean(json, RedisData.class);
        R r = JSONUtil.toBean((JSONObject) redisData.getData(), type);
        LocalDateTime expireTime = redisData.getExpireTime();
        // 判断缓存是否过期
        if (expireTime.isAfter(LocalDateTime.now())) {
            // 缓存未过期，直接返回
            return r;
        }
        // 缓存已过期，需要缓存重建
        // 设置锁的key
        String lockKey = RedisConstants.LOCK_SHOP_KEY + id;
        // 获取锁
        boolean isLock = tryLock(lockKey);
        // 如果获取到锁，则直接返回
        if (isLock) {
            // 开启独立线程，重建缓存
            CACHE_REBUILD_EXECUTOR.submit(() -> {
                try {
                    // 查询数据库
                    R r1 = dbFallback.apply(id);
                    // 写入redis
                    this.setWithLogicalExpire(key, r1, time, unit);
                } catch (Exception e) {
                    throw new RuntimeException(e);
                } finally {
                    // 释放锁
                    unLock(lockKey);
                }
            });
        }
        // 没有获取到锁，返回旧数据
        return r;
    }

    // 设置互斥锁解决缓存击穿方法
    public <R, ID> R queryWithMutex(
            String keyPrefix,
            ID id,
            Class<R> type,
            Function<ID, R> dbFallback,
            Long time,
            TimeUnit unit) {
        // 设置缓存查询的key
        String key = keyPrefix + id;
        // 去redis中查询
        String json = stringRedisTemplate.opsForValue().get(key);
        // 判断缓存中是否存在
        // 如果存在，则直接返回
        if (StrUtil.isNotBlank(json)) {
            return JSONUtil.toBean(json, type);
        }
        // 如果缓存中不存在，则判断是否为空值
        if (json != null) {
            return null;
        }

        // 缓存中不存在，实现缓存重建
        // 设置锁的key
        String lockKey = RedisConstants.LOCK_SHOP_KEY + id;
        // 获取锁
        boolean isLock = tryLock(lockKey);
        R r = null;
        try {
            // 判断获取锁是否成功
            if (!isLock) {
                // 如果获取锁失败，则睡眠，重新再次尝试获取锁
                Thread.sleep(50);
                return queryWithMutex(keyPrefix, id, type, dbFallback, time, unit);
            }
            // 如果获取锁成功，则查询数据库
            r = dbFallback.apply(id);
            // 判断数据库中的数据是否存在
            if (r == null) {
                // 将空值写入redis中
                stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            this.set(key, r, time, unit);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        } finally {
            // 释放锁
            unLock(lockKey);
        }
        return r;
    }

    // 尝试获取锁
    private boolean tryLock(String key) {
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", RedisConstants.LOCK_SHOP_TTL, TimeUnit.SECONDS);
        return BooleanUtil.isTrue(flag);
    }

    // 释放锁
    private void unLock(String key) {
        stringRedisTemplate.delete(key);
    }
}