黑马点评实战篇|第二篇:商户查询缓存

目录

一、商户缓存的实现

二、给店铺类型查询业务添加缓存

三、实现商铺和缓存与数据库双写一致

四、编码解决商品查询的缓存穿透问题

五、利用互斥锁解决缓存击穿问题

六、利用逻辑过期解决缓存击穿问题

七、封装缓存工具类(难)


一、商户缓存的实现

把第一次查询的商户在进行数据库查询后写入redis,后续直接通过访问redis缓存就可以减少硬盘读写次数,提高效率

二、给店铺类型查询业务添加缓存

思路与上文一致,只需要注意本次查询返回的是集合,调用hutool工具包里的JSONUtil中的toList和toJsonStr进行字符串和列表之间的转换

这里提供两种方法:

用字符串存储

java 复制代码
    public Result queryTypeList() {
        //查询redis是否存在
        String s = stringRedisTemplate.opsForValue().get(CACHE_List_KEY);
        //存在就返回
        if (StrUtil.isNotBlank(s)){
            return Result.ok(JSONUtil.toList(s, List.class));
        }
        //不存在就查数据库
        List<ShopType> typeList = typeService
                .query().orderByAsc("sort").list();
        //不存在就返回错误
        if(typeList == null){
            return Result.fail("查询失败");
        }
        //存在就写入redis
        stringRedisTemplate.opsForValue().set(CACHE_List_KEY, JSONUtil.toJsonStr(typeList));
        return Result.ok(typeList);
    }

用集合存储:

这里我遇到很多问题:

1.如果不把前面操作的key删掉,会引发存储类型的问题

2.在返回给前端时,返回的是一个List<ShopType>集合,想要查询所有的list内容,range方法只能返回List<String>,所以我们要转为List<ShopType>

3.在封装保存时,我们也需要把value转成JSON,List集合value不能是对象

java 复制代码
  @GetMapping("list")
    public Result queryTypeList() {
        //查询redis是否存在
        List<String> list = stringRedisTemplate.opsForList().range(CACHE_List_KEY, 0, -1);
        List<ShopType> result = new ArrayList<>();
        //存在就返回
        if (!list.isEmpty()){
            for (String s : list){
                result.add(JSONUtil.toBean(s, ShopType.class));
            }
            return Result.ok(result);
        }
        //不存在就查数据库
        List<ShopType> typeList = typeService
                .query().orderByAsc("sort").list();
        //不存在就返回错误
        if(typeList == null){
            return Result.fail("查询失败");
        }
        //存在就写入redis
        for (ShopType type : typeList){
            stringRedisTemplate.opsForList().leftPush(CACHE_List_KEY, JSONUtil.toJsonStr(type));
        }
        return Result.ok(typeList);
    }

|--------|-----------------|-----------------------------------------------|
| 类型 | 结构存储的值 | 结构的读写功能 |
| String | 字符串、整数、浮点型 | 对一整个字符串或部分字符串读取,浮点型可以自增或自减 |
| Hash | 散列键值对 | 添加、获取、删除单个元素 |
| List | 一个链表,链表的节点包含字符串 | 可以对链表两侧进行push和pop操作,根据值查找或删除元素,还可以读取多个元素 |
| Set | 无序存储字符串的集合 | 可以做集合的交、并、差集;获取、添加、删除元素 |
| Zset | 有序存储字符串的集合 | 有序集合,可以根据元素的不同分数排序,可以添加、获取、删除元素,可以根据分值范围来获得元素 |

三、实现商铺和缓存与数据库双写一致

只需要在原本的基础上加上超时时间,修改数据的时候先操作数据库后删除缓存就可以了

测试更新时需要发送修改请求,若修改后redis里的缓存数据没有了则测试成功

四、编码解决商品查询的缓存穿透问题

采用缓存空对象的方法:在请求的数据在 Redis 和数据库都查询不到时,把标识 "数据不存在" 的占位值存入 Redis 并设置 TTL ,后续相同请求命中该占位值时,直接返回null/ 不存在,不再查询数据库。

在存入redis后,异常请求就会get到value值为"",就会访问第一红框的if,就会是店铺不存在

这里有个点很绕,第二次异常数据请求时,在第一个if的判断条件时,为""会返回false,进入第二个false,如果正常请求get是正常字符串,就会进入一个if,所以第二个if只需要判断s不为空,那么一定是"",就可以执行了

五、利用互斥锁解决缓存击穿问题

流程如下:

我们需要创建判断是否成功获得锁的方法和释放锁的方法

java 复制代码
    //  判断是否成功获得锁
    public boolean tryLock(String key){
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 100, TimeUnit.SECONDS);
        return BooleanUtil.isTrue(flag);
    }
    //释放锁
    public void unlock(String key){
        stringRedisTemplate.delete(key);
    }

这里的setIfAbsent()方法就是类似于redis里的setnx命令

这里使用它是因为setnx命令是如果一个key存在那么其他线程就无法修改这个key的值,只有这个key被删除了,其他线程才有得到key的机会,这里就相当于一个锁机制

根据流程图,在确认缓存不存在时就要判断是否能够获取到锁,如果获取不到锁就陷入等待重试,获取成功就查询数据库并写入缓存

java 复制代码
public Shop queryWithMutex(Long id){
        //首先在redis里查询是否存在店铺
        String key = CACHE_SHOP_KEY + id;
        String s = stringRedisTemplate.opsForValue().get(key);
        //若存在直接返回
        if (StrUtil.isNotBlank(s)){
            return JSONUtil.toBean(s, Shop.class);
        }
        //上面判断了值是非空白的情况,下面判断值是否为空,不为空就返回错误信息
        if (s != null&& s.isEmpty()){
            return null;
        }
        Shop shop = null;
        //获取锁
        String lock = LOCK_SHOP_KEY+id;
        try {
            boolean isLock = tryLock(lock);
            //判断锁是否获得成功,不成功就休眠,递归调用
            if (!isLock){
                Thread.sleep(50);
                return queryWithMutex(id);
            }
            //获取锁成功,则查询数据库
            shop = getById(id);
            //若查询数据库不存在则写入空值
            if (shop == null ){
                stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        } finally {
            unlock(lock);
        }
        //若查询数据库存在则写入redis
        return shop;
    }

用Jmeter模拟并发数据正常

六、利用逻辑过期解决缓存击穿问题

首先判断缓存是否命中,如果不命中直接返回空,若名字就要判断缓存是否逻辑过期,若未过期,直接返回,过期了就尝试获得互斥锁,如果没有获得锁,就先返回旧数据,获得了锁就开启线程池来根据数据库查询新的数据并写入缓存

java 复制代码
    private static final ExecutorService executorService = Executors.newFixedThreadPool(10);

是创建线程池,如果单开一个线程,对线程频繁创建销毁,性能不好

java 复制代码
  private static final ExecutorService executorService = Executors.newFixedThreadPool(10);
    //互斥锁解决缓存击穿
    public Shop queryWithLocalExpireSeconds(Long id){
        //首先在redis里查询是否存在店铺
        String key = CACHE_SHOP_KEY + id;
        String s = stringRedisTemplate.opsForValue().get(key);
        //若不存在直接返回空
        if (StrUtil.isBlank(s)){
            return null;
        }
        RedisData redisData = JSONUtil.toBean(s, RedisData.class);
        Shop shop = JSONUtil.toBean((JSONObject) redisData.getData(), Shop.class);
        LocalDateTime expireTime = redisData.getExpireTime();
        if (expireTime.isAfter(LocalDateTime.now())){
            return shop;
        }
        //获取锁
        String lock = LOCK_SHOP_KEY+id;
        boolean isLock = tryLock(lock);
        if (isLock){
            //重建缓存
            executorService.submit(() -> {
                try {
                        this.saveShop2Redis(id, 20L);
                } catch (Exception e) {
                    throw new RuntimeException(e);
                } finally {
                    unlock(lock);
                }
            });
        }
        return shop;
    }

因为需要逻辑过期时间我们用了一个redisdata来封装shop+过期时间

在执行前,我们需要通过单元测试来预热,否则redis里没有数据,只会返回null

测试:在数据库中把名字从105改成106

105从某一刻会变成106,此时就是key过期,并且对数据库进行了一次查询操作

七、封装缓存工具类(难)

基于StringRedisTemplate封装一个缓存工具类,满足下列需求:

  • 方法1:将任意Java对象序列化为json并存储在string类型的key中,并且可以设置TTL过期时间

  • 方法2:将任意Java对象序列化为json并存储在string类型的key中,并且可以设置逻辑过期时间,用于处理缓存击穿问题

  • 方法3:利用互斥锁解决缓存击穿

  • 方法4:根据指定的key查询缓存,并反序列化为指定类型,需要利用逻辑过期解决缓存击穿问题

  • 方法5:根据指定的key查询缓存,并反序列化为指定类型,利用缓存空值的方式解决缓存穿透问题

核心思路:把前面写好的函数进行修改

<R,ID>表示应用了两个泛型,R 表示返回的类型,参数里需要传入一个函数对象,才能表示每一个情况调用的方法
替换思路:

1.把对应的前缀提取到参数里,并应用参数

2.还有提取为Bean的类型存储在参数里,比如Shop

3.查询数据库的方法,用函数对象传入Fuction<T,R>,前面是参数后面是返回值

java 复制代码
package com.hmdp.utils;

import cn.hutool.core.util.BooleanUtil;
import cn.hutool.core.util.StrUtil;
import cn.hutool.json.JSONObject;
import cn.hutool.json.JSONUtil;
import com.hmdp.entity.Shop;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;

import java.time.LocalDateTime;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
import java.util.function.Function;

import static com.hmdp.utils.RedisConstants.*;

@Component
public class CacheClinet {
    private StringRedisTemplate stringRedisTemplate;

    public CacheClinet(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
    }
    //将任意Java对象序列化为json并存储在string类型的key中,并可以设置TTL过期时间
    public void set(String key, Object value, Long time, TimeUnit unit){
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, unit);
    }
    
    public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit) {
        // 设置逻辑过期
        RedisData redisData = new RedisData();
        redisData.setData(value);
        redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));
        // 写入Redis
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));
    }
    private static final ExecutorService executorService = Executors.newFixedThreadPool(10);


   //互斥锁解决缓存击穿
    public <R,ID> R queryWithMutex(String keyPrefix, ID id, Class<R> type, Function<ID,R> dbFallBack,Long time, TimeUnit unit) {
        //首先在redis里查询是否存在店铺
        String key = keyPrefix + id;
        String s = stringRedisTemplate.opsForValue().get(key);
        //若存在直接返回
        if (StrUtil.isNotBlank(s)) {
            return JSONUtil.toBean(s, type);
        }
        //上面判断了值是非空白的情况,下面判断值是否为空,不为空就返回错误信息
        if (s != null && s.isEmpty()) {
            return null;
        }
        R r = null;
        //获取锁
        String lock = LOCK_SHOP_KEY + id;
        try {
            boolean isLock = tryLock(lock);
            //判断锁是否获得成功,不成功就休眠,递归调用
            if (!isLock) {
                Thread.sleep(50);
                return queryWithMutex(keyPrefix,id, type, dbFallBack, time, unit);
            }
            //获取锁成功,则查询数据库
            r = dbFallBack.apply(id);
            //若查询数据库不存在则写入空值
            if (r == null) {
                stringRedisTemplate.opsForValue().set(key, "", CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            this.set(key, r, time, unit);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        } finally {
            unlock(lock);
        }
        //若查询数据库存在则写入redis
        return r;
    }

    //逻辑过期解决缓存击穿
    public <R,ID> R queryWithLogicalExpire(String keyPrefix , ID id, Class<R> type, Function<ID,R> dbFallBack,Long time, TimeUnit unit){
        //首先在redis里查询是否存在店铺
        String key = keyPrefix + id;
        String s = stringRedisTemplate.opsForValue().get(key);
        //若不存在直接返回空
        if (StrUtil.isBlank(s)){
            return null;
        }
        RedisData redisData = JSONUtil.toBean(s, RedisData.class);
        R r = JSONUtil.toBean((JSONObject) redisData.getData(), type);
        LocalDateTime expireTime = redisData.getExpireTime();
        if (expireTime.isAfter(LocalDateTime.now())){
            return r;
        }
        //获取锁
        String lock = LOCK_SHOP_KEY+id;
        boolean isLock = tryLock(lock);
        if (isLock){
            //开启独立线程重建缓存
            executorService.submit(() -> {
                try {
                    R newR = dbFallBack.apply(id);
                    this.setWithLogicalExpire(key, newR, time, unit);
                } catch (Exception e) {
                    throw new RuntimeException(e);
                } finally {
                    unlock(lock);
                }
            });
        }
        return r;
    }

    //缓存空值的方式解决缓存穿透
    public <R,ID> R queryWithPassThrough(String keyPrefix, ID id, Class<R> type, Function<ID,R> dbFallBack,Long time, TimeUnit unit) {
        //首先在redis里查询是否存在店铺
        String key = keyPrefix + id;
        String s = stringRedisTemplate.opsForValue().get(key);
        //若存在直接返回
        if (StrUtil.isNotBlank(s)) {
            return JSONUtil.toBean(s, type);
        }
        //上面判断了值是非空白的情况,下面判断值是否为空,不为空就返回错误信息
        if (s != null && s.isEmpty()) {
            return null;
        }
        R r = null;
        //不存在则查询数据库
        r = dbFallBack.apply(id);
        //若查询数据库不存在则写入空值
            if (r == null) {
                stringRedisTemplate.opsForValue().set(key, "", CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
        //若查询数据库存在则写入redis
        this.set(key, r, time, unit);
        return r;
    }

    private boolean tryLock(String key) {
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
        return BooleanUtil.isTrue(flag);
    }

    private void unlock(String key) {
        stringRedisTemplate.delete(key);
    }
}
java 复制代码
    @Override
    public Result queryById(Long id) {
        //互斥锁解决缓存击穿
        Shop shop = cacheClinet.queryWithMutex(CACHE_SHOP_KEY, id, Shop.class, this::getById, CACHE_SHOP_TTL, TimeUnit.SECONDS);
        //逻辑过期解决缓存击穿
//        cacheClinet.queryWithLogicalExpire(CACHE_SHOP_KEY, id, Shop.class, this::getById, CACHE_SHOP_TTL, TimeUnit.SECONDS);
        //缓存空值解决缓存穿透
//        cacheClinet.queryWithPassThrough(CACHE_SHOP_KEY, id, Shop.class, this::getById, CACHE_SHOP_TTL, TimeUnit.SECONDS);
        if (shop == null){
            return Result.fail("店铺不存在");
        }
        return Result.ok(shop);
    }
相关推荐
笨蛋不要掉眼泪2 小时前
Redis哨兵机制全解析:原理、配置与实战故障转移演示
java·数据库·redis·缓存·bootstrap
ALex_zry14 小时前
Redis Cluster 分布式缓存架构设计与实践
redis·分布式·缓存
shuair19 小时前
redis缓存预热、缓存击穿、缓存穿透、缓存雪崩
redis·spring·缓存
上架ipa20 小时前
redis图形化客户端功能对比
redis·缓存
历程里程碑1 天前
21:重谈重定义理解一切皆“文件“及缓存区
linux·c语言·开发语言·数据结构·c++·算法·缓存
fengxin_rou1 天前
[Redis从零到精通|第三篇]:缓存更新指南
java·数据库·redis·spring·缓存
卷卷的小趴菜学编程1 天前
项目篇----仿tcmalloc的内存池设计(page cache)
c++·缓存·单例模式·tcmalloc·内存池·span cache
踩坑小念2 天前
秒杀场景下如何处理redis扣除状态不一致问题
数据库·redis·分布式·缓存·秒杀
J_liaty2 天前
Redis 超详细入门教程:从零基础到实战精通
数据库·redis·缓存