【Java】Redis五大核心数据结构底层原理解析

Redis作为高性能内存数据库的核心竞争力,不仅在于其丰富的数据结构类型,更在于其底层精妙的设计与实现。本文将深入剖析String、List、Hash、Set、Sorted Set五大核心数据结构的实现原理,结合Redis 7.0源码解析其设计哲学。

String(动态字符串)

底层结构:SDS(Simple Dynamic String)

java 复制代码
struct sdshdr {
    int len;        // 已用长度
    int alloc;      // 总分配长度
    unsigned char flags; // 类型标识
    char buf[];     // 字节数组
};
  1. 空间预分配:当SDS需要扩容时,会额外分配未使用空间(<1MB时翻倍,≥1MB时每次+1MB)
  2. 惰性释放:缩短字符串时不立即回收内存,通过len字段标记可用空间
  3. 二进制安全:通过len字段而非空字符判断结束,可存储任意二进制数据

场景特征

  1. 计数器(INCR/DECR原子操作)
  2. 缓存对象(JSON序列化存储)
  3. 分布式锁(SETNX命令)

List(链表)

底层结构:Quicklist(3.2版本后)

java 复制代码
typedef struct quicklist {
    quicklistNode *head;
    quicklistNode *tail;
    unsigned long count;     // 元素总数
    unsigned long len;       // quicklistNode数量
    int fill : QL_FILL_BITS; // 单个ziplist最大容量
    unsigned int compress : QL_COMP_BITS; // LZF压缩深度
} quicklist;

复合结构

  1. 宏观:双向链表(支持前后遍历)
  2. 微观:ziplist(内存紧凑结构)
  3. 压缩机制:通过LZF算法压缩中间节点(配置list-compress-depth)

性能优化

  1. 元素≤48字节且列表长度≤512时使用ziplist(通过list-max-ziplist-size配置)
  2. 通过fill参数控制单个ziplist大小(默认8KB)

Hash(字典)

底层编码

  1. ziplist(默认):
  2. 存储格式:[field1, value1, field2, value2,...]
  3. 适用条件:field数量≤512且value大小≤64字节(hash-max-ziplist-entries/values)
  4. hashtable
  5. 使用dictht结构实现
  6. 渐进式rehash:维护两个哈希表,逐步迁移数据

源码结构

java 复制代码
typedef struct dict {
    dictType *type;
    void *privdata;
    dictht ht[2];    // 双哈希表
    long rehashidx;  // rehash进度
    int iterators;   // 迭代器数量
} dict;

最佳实践

  1. 对象属性存储(用户信息)
  2. 配置参数聚合存储
  3. 使用HSCAN避免大Hash阻塞

Set(集合)

底层实现

  1. intset
  2. 有序整数数组
  3. 条件:元素均为整数且数量≤512(set-max-intset-entries)
  4. hashtable
  5. 字典实现(value=null)

特殊操作优化

  1. SINTERSTORE使用位图算法优化交集计算
  2. SPOP使用随机探针+删除策略
  3. SISMEMBER时间复杂度O(1)

应用场景

  1. 标签系统
  2. 唯一性校验
  3. 好友关系(并集/差集运算)

Sorted Set(有序集合)

底层实现

  1. ziplist(默认):
  2. 存储格式:[member1, score1, member2, score2,...]
  3. 适用条件:元素数量≤128且member长度≤64(zset-max-ziplist-entries/value)
  4. 跳表+字典
  5. skiplist:实现范围查询(ZRANGE)
  6. dict:实现O(1)复杂度元素查找

跳表结构

java 复制代码
typedef struct zskiplistNode {
    sds ele;
    double score;
    struct zskiplistNode *backward;
    struct zskiplistLevel {
        struct zskiplistNode *forward;
        unsigned long span;
    } level[];
} zskiplistNode;

设计亮点

  1. 随机化层高(1/4概率升级)
  2. 范围查询性能媲美平衡树
  3. 支持相同score的字典序排序

数据结构选择策略

调优建议

  1. 监控内存碎片率(mem_fragmentation_ratio)
  2. 合理设置ziplist转换阈值
  3. 对大Key进行分片处理(如user:1000:info拆分为多字段)
  4. 使用SCAN系列命令代替KEYS
相关推荐
gelald5 分钟前
Spring Boot - 自动配置原理
java·spring boot·后端
hssfscv7 分钟前
软件设计师下午题六——Java的各种设计模式
java·算法·设计模式
希望永不加班19 分钟前
SpringBoot 集成测试:@SpringBootTest 与 MockMvc
java·spring boot·后端·log4j·集成测试
enAn_23 分钟前
对照片和视频文件名,程序追加日期,直观看
java·maven
yaaakaaang29 分钟前
六、适配器模式
java·适配器模式
bobasyu36 分钟前
Claude Code 源码笔记 -- queryLoop
java·笔记·spring
计算机学姐1 小时前
基于SpringBoot的高校竞赛管理系统
java·spring boot·后端·spring·信息可视化·tomcat·mybatis
AnalogElectronic1 小时前
普通数据源和druid数据源区别以及druid参数详解
java
東雪木1 小时前
Java学习——泛型基础:泛型的核心作用、泛型类 / 方法 / 接口的定义
java·学习·java面试
一叶飘零_sweeeet1 小时前
ConcurrentHashMap 深度解析:从 JDK7 到 JDK8 的演进与并发安全保障
java·并发编程