redis 使用Pipelined 管道命令批量操作 减少网络操作次数

用Pipelined 管道命令批量查询 / 更新 redis里1000个key, 每个key value设置独立的过期时间都是30分钟

java 复制代码
        // 批量获取Redis键值
        List<String> appMetricKeys =
            metricDataList.stream().map(metricData -> metricData.getSourceMetricName()
                + StrPool.COLON + metricData.getSourceMetricId()).collect(Collectors.toList());

        // 使用管道批量查询
        List<Object> redisValues = redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
            for (String key : appMetricKeys) {
                connection.get(redisTemplate.getKeySerializer().serialize(key));
            }
            return null;
        });
        // 处理需要发送的数据
        List<MetricData> needSendData = new ArrayList<>();
        for (int i = 0; i < metricDataList.size(); i++) {
            MetricData metricData = metricDataList.get(i);
            String redisValue = redisValues.get(i) != null ? redisValues.get(i).toString() : null;

            if (redisValue == null || !ObjectUtil.equals(metricData.getSourceMetricData(), redisValue)) {
                needSendData.add(metricData);
            }
        }
        // 批量更新Redis
        if (CollUtil.isNotEmpty(needSendData)) {
            redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
                for (MetricData metricData : needSendData) {
                    String key = TINGYUN_ACTION_REDIS_KEY + metricData.getSourceMetricName() + StrPool.COLON
                        + metricData.getSourceMetricId();
                    Object value = metricData.getSourceMetricData();
                    connection.setEx(redisTemplate.getKeySerializer().serialize(key), 30 * 60,
                        redisTemplate.getValueSerializer().serialize(value)); // 30分钟
                }
                return null;
            });
            // 批量发送Kafka
            needSendData.forEach(metricData -> {
                kafkaTemplate.send(Constant.METRIC_DATA_TOPIC, JSON.toJSONString(metricData));
            });
        }
相关推荐
DBA_G26 分钟前
南大通用GBase 8c数据库-两阶段提交事务状态保持讲解(下)
数据库
NineData27 分钟前
MySQL 到 Doris 实时数据同步:订单、用户和日志数据入仓方案
数据库·mysql
小小AK1 小时前
采购订单同步策略实战:金蝶云星空到旺店通的字段映射与调度设计
大数据·数据库
前端 贾公子1 小时前
LangGraph == 图的状态(State)管理 (中)
开发语言·数据库·python
一条小小yu1 小时前
Text-to-SQL Agent
数据库·sql
凤山老林2 小时前
Spring Boot 集成 Redis Stream 做可靠消息队列:持久化、消费组重组与流式处理实战
spring boot·redis·后端
Dovis(誓平步青云)2 小时前
现场问题先关闭还是先验收,建筑任务怎样处理依赖
前端·javascript·数据库·mysql·音视频
dishugj2 小时前
HANA监控、巡检与切换演练
数据库·oracle
a努力。2 小时前
四维解析Agent记忆架构:从零实战LangGraph长期记忆
java·开发语言·数据库
ss2732 小时前
PG实战笔记 | 04 PostgreSQL市场地位与实际案例
数据库·postgresql