【Java】Redis五大核心数据结构底层原理解析

Redis作为高性能内存数据库的核心竞争力,不仅在于其丰富的数据结构类型,更在于其底层精妙的设计与实现。本文将深入剖析String、List、Hash、Set、Sorted Set五大核心数据结构的实现原理,结合Redis 7.0源码解析其设计哲学。

String(动态字符串)

底层结构:SDS(Simple Dynamic String)

java 复制代码
struct sdshdr {
    int len;        // 已用长度
    int alloc;      // 总分配长度
    unsigned char flags; // 类型标识
    char buf[];     // 字节数组
};
  1. 空间预分配:当SDS需要扩容时,会额外分配未使用空间(<1MB时翻倍,≥1MB时每次+1MB)
  2. 惰性释放:缩短字符串时不立即回收内存,通过len字段标记可用空间
  3. 二进制安全:通过len字段而非空字符判断结束,可存储任意二进制数据

场景特征:

  1. 计数器(INCR/DECR原子操作)
  2. 缓存对象(JSON序列化存储)
  3. 分布式锁(SETNX命令)

List(链表)

底层结构:Quicklist(3.2版本后)

java 复制代码
typedef struct quicklist {
    quicklistNode *head;
    quicklistNode *tail;
    unsigned long count;     // 元素总数
    unsigned long len;       // quicklistNode数量
    int fill : QL_FILL_BITS; // 单个ziplist最大容量
    unsigned int compress : QL_COMP_BITS; // LZF压缩深度
} quicklist;

复合结构:

  1. 宏观:双向链表(支持前后遍历)
  2. 微观:ziplist(内存紧凑结构)
  3. 压缩机制:通过LZF算法压缩中间节点(配置list-compress-depth)

性能优化:

  1. 元素≤48字节且列表长度≤512时使用ziplist(通过list-max-ziplist-size配置)
  2. 通过fill参数控制单个ziplist大小(默认8KB)

Hash(字典)

底层编码:

  1. ziplist(默认):
  2. 存储格式:field1, value1, field2, value2,...
  3. 适用条件:field数量≤512且value大小≤64字节(hash-max-ziplist-entries/values)
  4. hashtable:
  5. 使用dictht结构实现
  6. 渐进式rehash:维护两个哈希表,逐步迁移数据

源码结构:

java 复制代码
typedef struct dict {
    dictType *type;
    void *privdata;
    dictht ht[2];    // 双哈希表
    long rehashidx;  // rehash进度
    int iterators;   // 迭代器数量
} dict;

最佳实践:

  1. 对象属性存储(用户信息)
  2. 配置参数聚合存储
  3. 使用HSCAN避免大Hash阻塞

Set(集合)

底层实现:

  1. intset:
  2. 有序整数数组
  3. 条件:元素均为整数且数量≤512(set-max-intset-entries)
  4. hashtable:
  5. 字典实现(value=null)

特殊操作优化:

  1. SINTERSTORE使用位图算法优化交集计算
  2. SPOP使用随机探针+删除策略
  3. SISMEMBER时间复杂度O(1)

应用场景:

  1. 标签系统
  2. 唯一性校验
  3. 好友关系(并集/差集运算)

Sorted Set(有序集合)

底层实现:

  1. ziplist(默认):
  2. 存储格式:member1, score1, member2, score2,...
  3. 适用条件:元素数量≤128且member长度≤64(zset-max-ziplist-entries/value)
  4. 跳表+字典:
  5. skiplist:实现范围查询(ZRANGE)
  6. dict:实现O(1)复杂度元素查找

跳表结构:

java 复制代码
typedef struct zskiplistNode {
    sds ele;
    double score;
    struct zskiplistNode *backward;
    struct zskiplistLevel {
        struct zskiplistNode *forward;
        unsigned long span;
    } level[];
} zskiplistNode;

设计亮点:

  1. 随机化层高(1/4概率升级)
  2. 范围查询性能媲美平衡树
  3. 支持相同score的字典序排序

数据结构选择策略

调优建议:

  1. 监控内存碎片率(mem_fragmentation_ratio)
  2. 合理设置ziplist转换阈值
  3. 对大Key进行分片处理(如user:1000:info拆分为多字段)
  4. 使用SCAN系列命令代替KEYS
相关推荐
Sayai21 分钟前
MCP Server 开发实战:Spring AI 把后端日志查询暴露给 AI Agent(7 条设计原则与踩坑实录)
java·人工智能·ai agent·spring ai·mcp
大牧师27 分钟前
Mybatis 框架教程
java·数据库·mybatis·数据持久化·orm
SunnyDays101128 分钟前
Java 合并 PDF 文件:完整合并、指定页面合并与流合并
java·开发语言·合并pdf
INGNIGHT29 分钟前
944 · 最大子矩阵(前缀和)
数据结构·c++·算法
源码宝1 小时前
云HIS系统源码,HIS全套源码,支持监管系统对接与二次开发
java·源码·电子病历·云his系统·程序代码·全套源码
萧瑟余晖1 小时前
Spring MVC拦截器异常处理与跨域详解
java·spring·mvc
行百里er1 小时前
Redis 缓存穿透、雪崩、击穿
redis
泡茶喝茶写代码1 小时前
A股量化数据工程:从 REST 接口到策略信号(第 17 篇):创新高与新低扫描
java·python·股票数据api·股票数据api接口·股票api数据接口·股票量化数据api·股票量化数据接口
All for pursuit.1 小时前
【动态规划-6】96.不同的二叉搜索树
数据结构·c++·算法·leetcode·动态规划