如何设计一个二级缓存(Redis+Caffeine)架构?Redis 6.0多线程模型如何工作?

一、二级缓存(Redis+Caffeine)架构设计

1. 设计目标

通过「本地缓存(Caffeine)+ 分布式缓存(Redis)」的分层结构,实现:

  • 低延迟:热点数据本地缓存(内存级访问),减少网络IO;
  • 高可用:分布式缓存避免单点故障;
  • 成本优化:本地缓存存储高频小数据,Redis存储全量数据,降低内存成本。
2. 核心组件
组件 作用 关键配置示例
Caffeine 本地缓存(JVM内存),存储高频热点数据 maximumSize=10000, expireAfterWrite=5m(大小+过期策略)
Redis 分布式缓存(远程内存),存储全量数据,提供持久化 启用RDB/AOF,设置合理maxmemory-policy(如LRU)
缓存加载策略 缓存未命中时的加载逻辑(如同步加载、异步加载) 同步加载:直接查DB;异步加载:先返回旧值+后台更新
一致性机制 解决双写/失效不一致问题 发布订阅(更新时通知其他节点清理本地缓存)、TTL(兜底)
3. 核心流程(读请求)

命中 未命中 命中 未命中 客户端请求 查本地缓存Caffeine 返回数据 查Redis 返回数据并更新本地缓存 查数据库 返回数据并更新Redis和本地缓存

4. 注意事项
  • 缓存穿透:对空值(如DB不存在的key)也缓存(设置短TTL);
  • 缓存击穿 :热点key过期时,使用互斥锁(如Redis的setnx)避免大量请求打穿DB;
  • 内存控制 :Caffeine通过maximumSizemaximumWeight限制内存,避免OOM;
  • 一致性:写操作时先更新DB,再删除/更新缓存(推荐「先删缓存,再更新DB」+ 延迟双删)。
方案痛点
一、核心不一致场景分析

可能导致不一致的典型场景:

  1. 写操作顺序问题:更新数据库后未及时更新/删除缓存,导致后续读请求读取到旧缓存值;
  2. 并发写冲突:多个线程同时更新数据库和缓存,导致缓存与数据库最终状态不一致;
  3. 本地缓存隔离:分布式系统中,不同节点的本地缓存(Caffeine)可能因未同步而持有旧数据。

二、缓存失效策略设计
1. 主动失效(优先策略)

通过显式删除/更新缓存确保一致性,适用于对一致性要求高的场景(如订单状态变更)。

流程设计(写操作)

graph TD A[更新数据库] --> B{删除Redis缓存} B --> C[发布「缓存失效」事件(Redis Pub/Sub)] C --> D[各节点订阅事件后删除本地Caffeine缓存]

关键实现细节

  • 先更新数据库,再删除缓存(而非先删缓存):避免因数据库更新失败导致缓存被删后无数据可用;
  • Redis Pub/Sub通知 :写操作完成后,通过Redis发布事件(如频道cache_invalidate),内容为失效的key列表;
  • 本地缓存监听 :每个服务节点订阅该频道,收到事件后立即调用Caffeine.invalidate(key)删除本地缓存。
2. 被动过期(兜底策略)

通过设置**TTL(生存时间)**作为最终一致性的保障,适用于对一致性要求稍低但性能敏感的场景(如商品详情)。

配置示例

  • Caffeine :设置expireAfterWrite=5m(写入5分钟后过期),避免长期持有旧数据;
  • Redis :设置TTL=10m(比Caffeine长,确保Redis过期前本地缓存已先过期),防止本地缓存失效后Redis仍存旧值。
3. 防并发不一致:延迟双删

针对高并发场景下"删除缓存→更新数据库→新请求读缓存"的时间窗口问题,采用延迟双删 策略:

作用:
前置删除:减少用户读到脏数据的时间窗,比如只有后置删除的情况下,数据更新了,缓存还没更新,先删一次减少脏数据时间窗。
后置删除:这个删除才是缓存-数据库最终一致的关键,这里是保证数据库完成操作后,发出补偿操作删除缓存来达成最终一致性。
其实如果只保证最终一致性的话,只需要后删,可以看业务体验是否能接受加入前置删除。

java 复制代码
// 伪代码示例(Java)
public void updateData(String key, Object newData) {
    // 1. 先删除本地缓存和Redis缓存
    caffeineCache.invalidate(key);
    redisTemplate.delete(key);

    // 2. 更新数据库
    database.update(newData);

    // 3. 延迟(如1秒)后再次删除缓存(避免步骤2执行期间有新请求将旧数据加载到缓存)
    new Thread(() -> {
        try {
            Thread.sleep(1000);
            caffeineCache.invalidate(key);
            redisTemplate.delete(key);
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
        }
    }).start();
}

三、一致性增强补充
  • 缓存加载互斥 :读缓存未命中时,使用Redis分布式锁(如RedissonRLock)限制只有一个线程加载数据库数据,避免大量请求同时打穿数据库;
  • 空值缓存 :对数据库不存在的key(缓存穿透场景),在Caffeine和Redis中缓存null(设置短TTL,如30秒),避免重复查询数据库;
  • 监控报警:通过Prometheus+Grafana监控缓存命中率、过期次数、Pub/Sub消息延迟,及时发现一致性异常。

四、代码示例(Spring Boot整合)
1. Caffeine配置(主动失效)
java:src/main/java/com/example/config/CaffeineConfig.java 复制代码
import com.github.benmanes.caffeine.cache.Cache;
import com.github.benmanes.caffeine.cache.Caffeine;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.util.concurrent.TimeUnit;

@Configuration
public class CaffeineConfig {
    @Bean
    public Cache<String, Object> caffeineCache() {
        return Caffeine.newBuilder()
                .maximumSize(10000) // 最大容量
                .expireAfterWrite(5, TimeUnit.MINUTES) // 写后5分钟过期(被动兜底)
                .build();
    }
}
2. Redis Pub/Sub监听(主动通知)
java:src/main/java/com/example/listener/RedisCacheListener.java 复制代码
import org.springframework.data.redis.connection.Message;
import org.springframework.data.redis.connection.MessageListener;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import javax.annotation.Resource;

@Component
public class RedisCacheListener implements MessageListener {
    @Resource
    private Cache<String, Object> caffeineCache;

    @Override
    public void onMessage(Message message, byte[] pattern) {
        String invalidKey = new String(message.getBody());
        // 收到事件后删除本地缓存
        caffeineCache.invalidate(invalidKey); 
    }
}
3. 写操作服务类(延迟双删)
java:src/main/java/com/example/service/DataService.java 复制代码
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;
import javax.annotation.Resource;
import java.util.concurrent.TimeUnit;

@Service
public class DataService {
    @Resource
    private RedisTemplate<String, Object> redisTemplate;
    @Resource
    private Cache<String, Object> caffeineCache;

    public void updateData(String key, Object newData) {
        // 1. 首次删除缓存
        caffeineCache.invalidate(key);
        redisTemplate.delete(key);

        // 2. 更新数据库(伪代码)
        database.update(newData);

        // 3. 延迟1秒后二次删除
        new Thread(() -> {
            try {
                TimeUnit.SECONDS.sleep(1);
                caffeineCache.invalidate(key);
                redisTemplate.delete(key);
            } catch (InterruptedException e) {
                Thread.currentThread().interrupt();
            }
        }).start();
    }
}

二、Redis 6.0多线程模型解析

1. 背景:单线程的瓶颈

Redis 5.0及之前采用「单线程+IO多路复用」模型,优势是避免多线程竞争(如锁开销),但瓶颈在于:

  • 网络IO处理能力受限于单线程(尤其是高并发场景,如10万+ QPS);
  • 大键值对的序列化/反序列化可能阻塞主线程。
2. 多线程的核心设计

Redis 6.0引入多线程处理网络IO,但命令执行仍保持单线程(保证原子性)。具体流程:

graph TD A[主线程] --> B[监听端口,接收新连接] B --> C[将连接分配给IO线程池(默认4个线程)] C --> D[IO线程读取请求数据(read)并解析] D --> E[将解析后的命令放回主线程任务队列] E --> F[主线程单线程执行命令(核心逻辑)] F --> G[IO线程将响应写回客户端(write)]
3. 关键特性
  • IO线程仅处理网络IO:不参与命令执行,避免多线程竞争;
  • 可配置线程数 :通过io-threads(默认4)和io-threads-do-reads(是否启用读IO多线程)控制;
  • 向后兼容 :单线程模式仍可用(关闭io-threads-do-reads)。
4. 优势与限制
  • 优势:提升网络IO吞吐量(实测QPS可提升50%+);
  • 限制 :命令执行仍是单线程,无法利用多核CPU处理计算密集型操作(如大量KEYS命令)。
相关推荐
编程、小哥哥1 小时前
Java面试实战:从Spring Boot到分布式缓存的深度探索
java·spring boot·redis·微服务·grpc·缓存技术·面试技巧
张槊哲1 小时前
ROS2架构介绍
python·架构
小赵面校招1 小时前
Redis企业级开发实战:核心应用场景与最佳实践
数据库·redis·缓存
YJQ99676 小时前
Redis配置与优化:提升NoSQL数据库性能的关键策略
数据库·redis·nosql
Bug退退退1237 小时前
初识 Redis
redis
IT成长史8 小时前
【 Redis | 实战篇 秒杀优化 】
redis
界面开发小八哥9 小时前
界面组件DevExpress WPF中文教程:Grid - 如何自定义Band Header外观?
.net·wpf·界面控件·devexpress·ui开发·用户界面
what_20189 小时前
架构演变 -单体到云原生
架构
线条110 小时前
深入理解 Hadoop 核心组件 Yarn:架构、配置与实战
大数据·hadoop·架构