凌晨三点,告警炸了
那是一个用户画像项目,Redis 里缓存了 3000W+ 的 user tags,每个 key 设置了 24h 过期时间。上线一周风平浪静,直到某天凌晨突然 CPU 飙到 90%,Redis 响应延迟突破 2s------而我们的 SLA 是 99% 请求 <100ms。
- 你可能会问*:"Redis 不是有惰性删除和定期删除吗?怎么会突然拖垮性能?" 这就是最讽刺的地方:我们以为的"自动过期"机制,在特定场景下会变成定时炸弹。
根因:过期删除的"三角博弈"
Redis 处理过期 key 有三种策略:
- 惰性删除(访问时检查)
- 定期删除(随机抽查+删除)
- 主动淘汰(内存不足触发)
问题出在定期删除的配置耦合性上。我们来看默认配置(redis.conf):
conf
hz 10 # 每秒执行10次定期删除
maxmemory-samples 5 # 每次随机检查5个key
这意味着:
- 每秒最多检查
10 * 5 = 50个 key - 对于 3000W key 的实例,平均要 7 天才能扫描完一轮
- 但真实世界是幂律分布的*:我们的业务在凌晨集中过期 40% 的 key(用户每日签到重置)。当海量 key 同时过期时:
- 惰性删除被动挨打,请求量低时根本处理不过来
- 定期删除像拿牙签通下水道,完全跟不上节奏
最终结果:过期 key 堆积占用内存,触发主动淘汰,而淘汰过程是单线程阻塞的------这就是那 2s 延迟的真相。
从"翻车"到"救火"的代码实录
错误姿势:暴力全量设置相同TTL
java
// 批量导入用户标签(问题代码)
public void loadUserTags(Map<String, String> tags) {
tags.forEach((userId, tag) -> {
// 所有key在相同时间点过期!
redisTemplate.opsForValue().set(
"user:tag:" + userId,
tag,
24, TimeUnit.HOURS // 固定24小时
);
});
}
正确解法:TTL时间随机化
java
// 优化版本:打散过期时间
public void loadUserTags(Map<String, String> tags) {
Random random = ThreadLocalRandom.current();
tags.forEach((userId, tag) -> {
// 基础24h + 随机0~6h
int ttl = 24 + random.nextInt(6);
redisTemplate.opsForValue().set(
"user:tag:" + userId,
tag,
ttl, TimeUnit.HOURS
);
});
}
- 效果对比 *(相同数据量下): | 方案 | 内存占用峰值 | P99延迟 | 主动淘汰触发频率 |
|---------------|--------------|---------|------------------|
| 固定TTL | 38GB | 2200ms | 15次/分钟 |
| 随机TTL | 29GB (-24%) | 90ms | 0次 |
资深工程师的避坑清单
-
永远不要集中过期
- 业务层面:像优惠券、session等场景,TTL建议加上随机数(比如±10%)
- 运维层面:监控
expired_keys指标突增
-
调整定期删除力度
confhz 100 # 适当调高(CPU密集型业务慎用) maxmemory-samples 20 # 增加采样数量但要注意:hz超过100可能占用30%以上CPU
-
警惕内存驱逐风暴
- 当
used_memory>maxmemory时,Redis会同步执行淘汰策略(LRU/LFU等) - 实测:500W key的LFU淘汰可能阻塞800ms
- 当
-
别指望惰性删除
如果你的服务有低峰期(比如夜间),堆积的过期key就像未爆弹
现在,轮到你了
这次事故后,我们给 Redis 加了两道保险:
- 接入实时监控,对
expired_stale_perc(过期key占比)设置告警 - 所有批量操作强制TTL随机化
- 你在项目中是怎么处理Redis过期的?遇到过更诡异的坑吗?* 欢迎在评论区聊聊你的实战经历。