redis 使用Pipelined 管道命令批量操作 减少网络操作次数

用Pipelined 管道命令批量查询 / 更新 redis里1000个key, 每个key value设置独立的过期时间都是30分钟

java 复制代码
        // 批量获取Redis键值
        List<String> appMetricKeys =
            metricDataList.stream().map(metricData -> metricData.getSourceMetricName()
                + StrPool.COLON + metricData.getSourceMetricId()).collect(Collectors.toList());

        // 使用管道批量查询
        List<Object> redisValues = redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
            for (String key : appMetricKeys) {
                connection.get(redisTemplate.getKeySerializer().serialize(key));
            }
            return null;
        });
        // 处理需要发送的数据
        List<MetricData> needSendData = new ArrayList<>();
        for (int i = 0; i < metricDataList.size(); i++) {
            MetricData metricData = metricDataList.get(i);
            String redisValue = redisValues.get(i) != null ? redisValues.get(i).toString() : null;

            if (redisValue == null || !ObjectUtil.equals(metricData.getSourceMetricData(), redisValue)) {
                needSendData.add(metricData);
            }
        }
        // 批量更新Redis
        if (CollUtil.isNotEmpty(needSendData)) {
            redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
                for (MetricData metricData : needSendData) {
                    String key = TINGYUN_ACTION_REDIS_KEY + metricData.getSourceMetricName() + StrPool.COLON
                        + metricData.getSourceMetricId();
                    Object value = metricData.getSourceMetricData();
                    connection.setEx(redisTemplate.getKeySerializer().serialize(key), 30 * 60,
                        redisTemplate.getValueSerializer().serialize(value)); // 30分钟
                }
                return null;
            });
            // 批量发送Kafka
            needSendData.forEach(metricData -> {
                kafkaTemplate.send(Constant.METRIC_DATA_TOPIC, JSON.toJSONString(metricData));
            });
        }
相关推荐
海兰11 分钟前
【高速缓存】RedisVL 高级查询(全文搜索、混合搜索和 多向量搜索)
数据库·人工智能·redis·缓存
DBA_G17 分钟前
GBase 8s数据库大对象存储详解
数据库
sbjdhjd30 分钟前
SQL 注入零基础详解:原理、手工注入流程与 Sqli-Labs 靶场实战1~5关和第9关思路
数据库·sql·计算机网络·web安全·网络安全·网络攻击模型·安全架构
Tencent_TCB2 小时前
腾讯云 CloudBase 登上 WAIC:我们为 Agent 重新设计了云的生产线
网络·数据库·腾讯云
数智化管理手记2 小时前
预算控制手工核对效率低?预算控制数字化落地实操如何做?
大数据·网络·数据库·人工智能·数据挖掘
MXsoft6182 小时前
成熟的自动化运维平台是什么样的?
运维·数据库·自动化
吴声子夜歌2 小时前
MongoDB 4.x——合理使用索引(二)
数据库·mongodb
慾玄3 小时前
sql注入靶场1-5,9关
数据库·sql
记录者t3 小时前
redis常见问题:大key
数据库·redis