redis 使用Pipelined 管道命令批量操作 减少网络操作次数

用Pipelined 管道命令批量查询 / 更新 redis里1000个key, 每个key value设置独立的过期时间都是30分钟

java 复制代码
        // 批量获取Redis键值
        List<String> appMetricKeys =
            metricDataList.stream().map(metricData -> metricData.getSourceMetricName()
                + StrPool.COLON + metricData.getSourceMetricId()).collect(Collectors.toList());

        // 使用管道批量查询
        List<Object> redisValues = redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
            for (String key : appMetricKeys) {
                connection.get(redisTemplate.getKeySerializer().serialize(key));
            }
            return null;
        });
        // 处理需要发送的数据
        List<MetricData> needSendData = new ArrayList<>();
        for (int i = 0; i < metricDataList.size(); i++) {
            MetricData metricData = metricDataList.get(i);
            String redisValue = redisValues.get(i) != null ? redisValues.get(i).toString() : null;

            if (redisValue == null || !ObjectUtil.equals(metricData.getSourceMetricData(), redisValue)) {
                needSendData.add(metricData);
            }
        }
        // 批量更新Redis
        if (CollUtil.isNotEmpty(needSendData)) {
            redisTemplate.executePipelined((RedisCallback<Object>)connection -> {
                for (MetricData metricData : needSendData) {
                    String key = TINGYUN_ACTION_REDIS_KEY + metricData.getSourceMetricName() + StrPool.COLON
                        + metricData.getSourceMetricId();
                    Object value = metricData.getSourceMetricData();
                    connection.setEx(redisTemplate.getKeySerializer().serialize(key), 30 * 60,
                        redisTemplate.getValueSerializer().serialize(value)); // 30分钟
                }
                return null;
            });
            // 批量发送Kafka
            needSendData.forEach(metricData -> {
                kafkaTemplate.send(Constant.METRIC_DATA_TOPIC, JSON.toJSONString(metricData));
            });
        }
相关推荐
这个DBA有点耶1 小时前
同城双活落地的三座山:网络延迟、脑裂预防、反向同步
数据库·架构·dba
青春之我_XP1 小时前
MySQL 常用日期函数 实战指南
数据库·sql·mysql·数据分析·数据库开发·日期函数
Nturmoils1 小时前
sys_dump 备了库,角色和权限别漏在外面
数据库
接着奏乐接着舞。2 小时前
【2026】73道Redis 常见面试题与参考答案
数据库·redis·后端·缓存
其实防守也摸鱼3 小时前
权限提升与横向移动:从内网渗透到域控的完整技术图谱
运维·服务器·数据库·安全·github·copilot·渗透
人生百态,人生如梦3 小时前
每日论文解读(9.1)——ReToolSQL:面向鲁棒Text-to-SQL的Agentic强化学习与工具增强两阶段训练框架
数据库·sql
DevOpenClub3 小时前
网页采集如何稳定输出结构化数据:JSON、链接与快照三阶段流水线
数据库·json·api
其实防守也摸鱼4 小时前
免杀与持久化入门:从载荷免杀到隐蔽通道的完整指南
运维·服务器·数据库·安全·github·copilot·渗透
SelectDB4 小时前
统一全文检索与 SQL 分析:Apache Doris 日志分析实践
运维·数据库·掘金技术征文