redis 使用Pipelined 管道命令批量操作 减少网络操作次数

用Pipelined 管道命令批量查询 / 更新 redis里1000个key, 每个key value设置独立的过期时间都是30分钟

java 复制代码
        // 批量获取Redis键值
        List<String> appMetricKeys =
            metricDataList.stream().map(metricData -> metricData.getSourceMetricName()
                + StrPool.COLON + metricData.getSourceMetricId()).collect(Collectors.toList());

        // 使用管道批量查询
        List<Object> redisValues = redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
            for (String key : appMetricKeys) {
                connection.get(redisTemplate.getKeySerializer().serialize(key));
            }
            return null;
        });
        // 处理需要发送的数据
        List<MetricData> needSendData = new ArrayList<>();
        for (int i = 0; i < metricDataList.size(); i++) {
            MetricData metricData = metricDataList.get(i);
            String redisValue = redisValues.get(i) != null ? redisValues.get(i).toString() : null;

            if (redisValue == null || !ObjectUtil.equals(metricData.getSourceMetricData(), redisValue)) {
                needSendData.add(metricData);
            }
        }
        // 批量更新Redis
        if (CollUtil.isNotEmpty(needSendData)) {
            redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
                for (MetricData metricData : needSendData) {
                    String key = TINGYUN_ACTION_REDIS_KEY + metricData.getSourceMetricName() + StrPool.COLON
                        + metricData.getSourceMetricId();
                    Object value = metricData.getSourceMetricData();
                    connection.setEx(redisTemplate.getKeySerializer().serialize(key), 30 * 60,
                        redisTemplate.getValueSerializer().serialize(value)); // 30分钟
                }
                return null;
            });
            // 批量发送Kafka
            needSendData.forEach(metricData -> {
                kafkaTemplate.send(Constant.METRIC_DATA_TOPIC, JSON.toJSONString(metricData));
            });
        }
相关推荐
努力努力再努力wz10 小时前
【C++高阶系列】外存查找的极致艺术:数据库偏爱的B+树底层架构剖析与C++完整实现!(附B+树实现的源码)
linux·运维·服务器·数据结构·数据库·c++·b树
知识分享小能手10 小时前
MongoDB入门学习教程,从入门到精通,MongoDB 持久性完全指南(20)
数据库·学习·mongodb
IT枫斗者10 小时前
AI Agent 设计模式全景解析:从单体智能到分布式协作的架构演进
人工智能·redis·分布式·算法·spring·缓存·设计模式
何中应10 小时前
Doris部署&连接
大数据·数据库·时序数据库·doris
云边有个稻草人10 小时前
KES 表空间目录自动创建特性:简化存储管理、提升运维效率
数据库·国产数据库·kes
clear sky .10 小时前
[linux]buildroot什么用途
linux·运维·数据库
羊小蜜.10 小时前
Mysql 12: 视图全解——从创建到使用
android·数据库·mysql·视图
一个有温度的技术博主11 小时前
Redis缓存预热:解决服务冷启动的“数据库杀手”问题
数据库·redis·缓存
沃尔威武18 小时前
数据库 Sinks(.net8)
数据库·.net·webview
Dreamboat¿19 小时前
SQL 注入漏洞
数据库·sql