Redis 缓存使用的BigKey问题

一、什么是 BigKey?

BigKey 指在 Redis 中存储的 单个 Key 对应的 Value 过大,通常表现为:

  • String 类型:Value 长度 > 10KB。
  • Hash/List/Set/ZSet:元素数量 > 5,000 或总大小 > 10MB。

二、BigKey 的危害

问题 影响
内存不均 导致集群节点内存倾斜,可能触发 OOM。
阻塞请求 单线程模型下,操作 BigKey 耗时高,阻塞其他命令(如 DEL 大 Key 卡顿)。
网络拥塞 大 Value 传输占用带宽,影响其他请求延迟。
持久化故障 AOF/RDB 保存大 Key 时耗时剧增,甚至失败。

三、如何发现 BigKey?

1. 使用 Redis 内置命令 redis-cli --bigkeys
bash 复制代码
# 扫描 BigKey(Redis 4.0+)
redis-cli --bigkeys

# 输出示例(汇总每种数据类型的最大 Key)
[00.00%] Biggest string found so far 'user' with 10240 bytes
[00.00%] Biggest hash   found so far 'product' with 5000 fields

缺点:只能返回每种类型的最大 Key,无法全面扫描。

2. 使用 Redis 内置命令 MEMORY USAGE
bash 复制代码
# 查看指定 Key 的内存占用(Redis 4.0+)
MEMORY USAGE user

缺点:只能返回指定Key的信息。

3. 使用 Redis 内置命令 DEBUG OBJECT
bash 复制代码
# 查看指定 Key 信息
DEBUG OBJECT user

缺点:只能返回指定Key的信息。

3. 使用 Redis 内置命令 SCAN + MEMORY USAGEDEBUG OBJECT

使用sacn 命令扫描redis 中的key,结合 memory usagedebug object 判断key 值大小

bash 复制代码
SCAN 0 MATCH order:* COUNT 100 
HSCAN user:1000 0  # 遍历 Hash 的字段
SSCAN followers 0  # 遍历 Set 的成员
ZSCAN rankings 0   # 遍历 ZSet 的成员和分数

可循环定时执行scan命令遍历出bigKey

3. 使用第三方工具
  • rdb-tools :分析 RDB 文件,统计大 Key。

    bash 复制代码
    pip install rdbtools
    rdb --command memory dump.rdb --bytes 10240 --type string
  • RedisInsight:图形化工具直观查看内存分布。


四、BigKey 的解决方案

1. 拆分大 Key
  • String 类型 :拆分为多个子 Key。

    bash 复制代码
    # 原始 Key
    SET user:1000:profile "超大JSON数据..."
    # 拆分为
    SET user:1000:profile:part1 "JSON片段1"
    SET user:1000:profile:part2 "JSON片段2"
  • Hash/List/Set/ZSet :按字段或范围分片。

    bash 复制代码
    # 原始 Hash
    HSET product:999:details name "手机" price 5000 ... (5000个字段)
    # 拆分为
    HSET product:999:details:1 name "手机" price 5000
    HSET product:999:details:2 field1001 "value1001" ...
2. 使用合适的数据结构
  • 替代方案

    场景 错误用法 优化方案
    存储用户标签 SET 存储 JSON 列表 改用 SETZSET
    频繁更新的计数器 String + INCR 改用 HASH 分片存储
3. 客户端缓存
  • 对热点 BigKey 使用本地缓存(如 Caffeine),减少 Redis 访问。
相关推荐
-SGlow-2 小时前
MySQL相关概念和易错知识点(2)(表结构的操作、数据类型、约束)
linux·运维·服务器·数据库·mysql
明月5663 小时前
Oracle 误删数据恢复
数据库·oracle
♡喜欢做梦5 小时前
【MySQL】深入浅出事务:保证数据一致性的核心武器
数据库·mysql
遇见你的雩风5 小时前
MySQL的认识与基本操作
数据库·mysql
半新半旧5 小时前
python 整合使用 Redis
redis·python·bootstrap
dblens 数据库管理和开发工具5 小时前
MySQL新增字段DDL:锁表全解析、避坑指南与实战案例
数据库·mysql·dblens·dblens mysql·数据库连接管理
weixin_419658315 小时前
MySQL的基础操作
数据库·mysql
不辉放弃6 小时前
ZooKeeper 是什么?
数据库·大数据开发
Goona_6 小时前
拒绝SQL恐惧:用Python+pyqt打造任意Excel数据库查询系统
数据库·python·sql·excel·pyqt
daixin88487 小时前
什么是缓存雪崩?缓存击穿?缓存穿透?分别如何解决?什么是缓存预热?
java·开发语言·redis·缓存