高效协作处理缓存清理需求:生产者-消费者模式助力多模块缓存管理

在现代应用系统中,缓存是提高性能和减少数据库负载的重要手段之一。然而,缓存的数据在某些情况下可能会过期或者变得无效,因此需要及时进行清理。在复杂的应用系统中,可能有多个系统、多个模块产生缓存清理需求,而这些系统、模块之间的清理任务需要高效的协作,以避免数据竞争和资源浪费的问题。

本文将介绍一种高效处理多模块缓存清理需求的方案,通过使用Redis消息队列,采用生产者-消费者模式,实现了多个系统、多个模块的消息生产和消费任务的合理协作。在这个方案中,多个系统、多个模块可以同时生产清理缓存的消息,消费者定期获取并合并这些消息后,通过多线程进行缓存清理,从而达到高效处理的目的。

生产者-消费者模式

生产者-消费者模式是一种经典的多线程设计模式,用于解决多个生产者和消费者之间的协作问题。生产者负责生成数据,并将其放入共享缓冲区,而消费者则负责从缓冲区中取出数据并进行处理。这种模式的目标是确保生产者和消费者之间的有效沟通和数据交换,从而避免竞态条件和数据不一致问题。

方案介绍

-2023-06-29-2157.png

Redis是一种高性能的内存数据库,同时也是一个强大的消息中间件。Redis支持多种数据结构,包括List(列表)和Queue(队列),这些数据结构可以用于实现消息队列的功能。

在Redis中,多个系统、多个模块可以将清理缓存的消息作为生产者生产,并将这些消息添加到一个特定的Queue中。而缓存清理服务则定期从这个Queue中获取消息,进行合并后再多个消费者进行缓存清理操作。这种模式称为生产者-消费者模式,它实现了生产者和消费者的解耦,使得多个系统、多个模块之间可以独立进行消息的生产,由缓存清理服务统一多线程进行消息的消费,从而提高系统的灵活性和可维护性,使得业务系统于消息缓存系统之间不存在耦合关系。

第一步: 初始化Redis连接和消息队列

首先,需要在应用程序中初始化Redis连接,以便于生产者和消费者能够连接到Redis数据库。同时,创建一个消息队列,用于存储多个系统、多个模块产生的清理缓存的消息。

第二步: 系统或模块生产消息

每个模块可以根据自己的清理缓存需求,产生对应的清理缓存消息,并将消息添加到Redis的消息队列中。

MsgProduct

typescript 复制代码
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;

import javax.annotation.Resource;
import java.util.Map;
import java.util.Set;

@Service
@Slf4j
public class MsgProduct {

    private static final String KEY= "xj_test_queue";
    @Resource
    private RedissonCache redissonCache;

    public boolean msgAdd(Map<String, Set<String>> params){
        //生产消息
        return redissonCache.cacheAdd(KEY,params);
    }
}

第三步: 消费者定期获取并合并消息,多线程缓存清理

消费者定期从Redis消息队列中获取缓存清理消息。获取到的消息可以按照namespace进行分类合并,以便后续多线程消费时能够分别处理不同模块的缓存清理任务。

MsgConsumer

typescript 复制代码
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.ObjectUtils;
import org.springframework.stereotype.Service;

import javax.annotation.Resource;
import java.util.*;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

@Service
@Slf4j
public class MsgConsumer {
    private static final String KEY= "xj_test_queue";
    @Resource
    private RedissonCache redissonCache;

    public void poll(){
        Map<String, Set<String>> params = new LinkedHashMap<>();
        Map<String, Set<String>> msgMap = redissonCache.cachePoll(KEY);
        int batchSize = 500;

        String namespace;
        Set<String> msgSet;
        Set<String> mergedSet;

        while (batchSize > 0 && !ObjectUtils.isEmpty(msgMap)) {
            // 合并消息
            for (Map.Entry<String, Set<String>> entry : msgMap.entrySet()) {
                namespace = entry.getKey();
                msgSet = entry.getValue();
                mergedSet = params.getOrDefault(namespace, new HashSet<>());
                mergedSet.addAll(msgSet);
                params.put(namespace, mergedSet);
            }
            batchSize--;
            msgMap = redissonCache.cachePoll(KEY);
        }

        // 创建线程池
        ThreadPoolExecutor executor = new ThreadPoolExecutor(
                10,
                15,
                60L,
                TimeUnit.MILLISECONDS,
                new ArrayBlockingQueue<>(10)
        );
        for (Map.Entry<String, Set<String>> entry : params.entrySet()) {
            executor.execute(()-> this.doFlush(entry.getKey(),entry.getValue()) );
        }

    }

    public void doFlush(String namespace,Set<String> provinces){
        try {
            //执行缓存清理逻辑
            log.info("清理缓存的接口编码为:{},省份编码为:{}",namespace,provinces);
        }catch (Exception e){
            //缓存清理失败处理逻辑
            log.error("清理缓存失败",e);
        }

    }

}

优势与收益

采用基于Redis消息队列的生产者-消费者模式,我们成功解决了多个模块缓存清理的高效协作问题。这种模式的优势在于:

  1. 提高性能与并发处理能力: 多线程并发消费消息,加速缓存清理任务的执行,提高系统的整体性能。
  2. 灵活扩展: 不同模块可以独立生产和消费消息,系统的可扩展性大大增强。
  3. 数据一致性: 通过合理的消息合并策略,保证缓存清理任务的数据一致性。
  4. 资源节约: 避免资源浪费和重复清理,提高系统的资源利用率。

结语

在复杂的应用系统中,多个系统、多个模块可能会同时产生缓存清理需求。基于Redis消息队列的生产者-消费者模式为这种场景提供了一种高效协作处理方案。通过生产者生产消息、消费者定期获取合并消息并进行多线程消费,系统可以高效处理缓存清理任务,保证数据的一致性和并发安全性。这种设计模式在当今大数据和高并发的背景下尤其重要,对于提升系统性能和稳定性具有积极意义。

相关推荐
why1512 小时前
腾讯(QQ浏览器)后端开发
开发语言·后端·golang
浪裡遊3 小时前
跨域问题(Cross-Origin Problem)
linux·前端·vue.js·后端·https·sprint
声声codeGrandMaster3 小时前
django之优化分页功能(利用参数共存及封装来实现)
数据库·后端·python·django
呼Lu噜3 小时前
WPF-遵循MVVM框架创建图表的显示【保姆级】
前端·后端·wpf
bing_1583 小时前
为什么选择 Spring Boot? 它是如何简化单个微服务的创建、配置和部署的?
spring boot·后端·微服务
学c真好玩4 小时前
Django创建的应用目录详细解释以及如何操作数据库自动创建表
后端·python·django
Asthenia04124 小时前
GenericObjectPool——重用你的对象
后端
Piper蛋窝4 小时前
Go 1.18 相比 Go 1.17 有哪些值得注意的改动?
后端
excel4 小时前
招幕技术人员
前端·javascript·后端
盖世英雄酱581364 小时前
什么是MCP
后端·程序员