Guava Cache淘汰算法

Guava Cache 使用的淘汰算法是 "基于访问顺序的近似 LRU,具体来说是一种分段 LRU" 实现,注意是近似LRU。

Guava Cache 借鉴了 ConcurrentHashMap的分段锁思想,将缓存分成多个 "Segment"(段),每个 Segment 内部维护自己的访问队列,实现独立的 LRU 淘汰。

数据结构设计

每个 Segment 内部维护两个双向链表

java 复制代码
// 简化的数据结构示意
class Segment<K, V> {
    // 基于访问顺序的双向链表(LRU核心)
    @Nullable ReferenceEntry<K, V> accessQueueHead;  头部
    @Nullable ReferenceEntry<K, V> accessQueueTail;  尾部
  
    // 基于写入顺序的双向链表(用于过期策略)
    @Nullable ReferenceEntry<K, V> writeQueueHead;   头部
    @Nullable ReferenceEntry<K, V> writeQueueTail;   尾部
}

访问顺序维护

当缓存项被访问时(读或写),Guava 会将其移动到访问队列的尾部"(MRU 端):

java 复制代码
// 伪代码:记录访问
void recordAccess(ReferenceEntry<K, V> entry) {
    // 从当前位置移除
    evictFromAccessQueue(entry);
    // 添加到尾部(最近使用)
    addToAccessQueue(entry);
}

淘汰发生在写入新数据时,当缓存大小超过限制:

java 复制代码
// 伪代码:淘汰过程
void evictEntries() {
    if (!overMaximumSize()) {
        return; // 未超限,不淘汰
    }
    
    // 从访问队列头部(LRU端)开始淘汰
    ReferenceEntry<K, V> eldest = accessQueueHead;
    while (eldest != null && overMaximumSize()) {
        // 移除最久未使用的条目
        removeEntry(eldest, RemovalCause.SIZE);
        eldest = accessQueueHead; // 移动到下一个
    }
}

为什么是"近似"LRU?

Guava Cache 的 LRU 是近似的,主要原因:

1、并发性能优化:在并发环境下,为了减少锁竞争,访问记录的更新是延迟的:

java 复制代码
// 读操作时并不立即更新队列,而是先记录"可能需要更新"
void get(key) {
    Entry entry = findEntry(key);
    if (entry != null) {
        // 不是立即移动,而是设置标志位
        entry.setAccessTime(System.currentTimeMillis());
        // 实际的队列更新可能批量进行
    }
}

2、分段设计的影响

由于缓存被分成多个 Segment,每个 Segment 独立维护 LRU 队列。淘汰时:

1、优先淘汰访问频率最低的 Segment" 中的条目

2、而不是全局严格的 LRU 顺序

淘汰的过程案例

java 复制代码
初始: [A]
添加B: [A, B]        // A(最久), B(最新)
添加C: [A, B, C]     // A(最久), B, C(最新)
访问A: [B, C, A]     // B(最久), C, A(最新) - A被移到尾部
添加D: [C, A, D]     // 淘汰最久的B,添加D到尾部
相关推荐
AvocadoZeroOneOI1 小时前
B4500 [GESP202603 三级] 凯撒密码 详细解题报告
c++·算法
cjz38993 小时前
双指针技巧:覆盖式双指针(原地覆盖)
算法
橘子136 小时前
【高级数据库】关系代数基本概念
算法
电科_银尘18 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴21 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David21 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
Pniubi1 天前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK1 天前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
上海潭龙东海科技有限公司1 天前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师1 天前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法