缓存失效方案

一、背景

WRITE : 数据写入Mysql 和 Redis缓存,

READ:先从 Redis 缓存中取数据,拿不到再从Mysql中加载,更新到Redis

上图第三阶段,接收Mysql的binlog变更消息,可以参考阿里的 Canal,接入 Kafka

二、缓存失效方案

**脏数据定义:**Redis中取到的数据,不是Mysql-Master中的数据

2.1 同步失效(写Mysql后同步失效Redis缓存)

|-----------|------------------------|------------------------------------------------------------------------------------------|
| | 脏数据生成时间窗口 | 脏数据存在时间窗口 |
| Redis有数据 | T0 - T2(小于Mysql主从延迟耗时) | T0 - T2 期间生成的,那么脏数据存在时间是生成那刻 ------ 下次更新前。 |
| Redis没有数据 | T1 - T2 (Mysql主从延迟耗时) | 1、若是 T1 - T0 期间生成的,那么脏数据存在时间 T1 - T0 2、若是 T0 - T2 期间生成的,那么脏数据存在时间是生成那刻 ------ 下次更新前。 |

2.2 接收到Binlog的MQ消息后,失效Redis缓存

|------------|----------------------|------------------------------------------------------|
| | 脏数据生成时间窗口 | 脏数据存在时间窗口 |
| Redis存在数据 | 无,存在缓存不重新生成 | T1 - T0 |
| Redis不存在数据 | T1 - T2(Mysql主从延迟耗时) | 写入Redis那一刻 ------ T0 (Mysql主从延迟耗时 + binlog消息发送与拉取耗时) |

2.3 同步失效 + 接收到Binlog的MQ消息后,失效Redis缓存

|------------|-------------------------------------------------------|-----------------------------------------------------------------|
| | 脏数据生成时间窗口 | 脏数据存在时间窗口 |
| Redis存在数据 | T0 - T2 因为 T1 - T0 期间有缓存,所以不重新生成,那么 肯定是 T0 - T2 期间生成的 | T1 - T5 |
| Redis不存在数据 | T1 - T2(Mysql主从延迟耗时) | 1、若是 T1 - T0 期间生成的,那么脏数据存在时间 T1 - T0 2、若是 T0 - T2 期间生成的,T0 - T5 |

2.4 三种方案对比

|---------------------------|--------------|----------------------------------|---------------------------|
| 方案 | 脏数据生成时机窗口 | 脏数据可能存在的时间窗口 | 改造复杂度 |
| 方案1:同步失效 | MySQL 主从延迟期间 | 可能很长,无法容忍 生成那刻 ------ 下次更新前。 | 中,所有更新操作同步失效 |
| 方案2:监听binlog失效缓存 | MySQL 主从延迟期间 | Mysql主从延迟耗时 + binlog消息发送与拉取耗时 | 简单,接入Binlog统一失效 |
| 方案3:同步失效缓存 + 监听binlog失效缓存 | MySQL 主从延迟期间 | Mysql主从延迟耗时 + binlog消息发送与拉取耗时 | 复杂,接入DTS统一失效 + 所有更新操作同步失效 |

建议:直接方案2 ,方案3 如果存在太多update场景的话,入口太多。

相关推荐
野生技术架构师8 小时前
Redis 和 MySQL 如何保证数据一致性?先更新数据库还是先删缓存,延迟双删、MQ、Canal 一次讲透
数据库·redis·缓存
愈努力俞幸运9 小时前
token,context window,top_p,temperature,skill,Harness Engineering
数据库·redis·缓存
Patrick在香港10 小时前
Claude API 成本直降90%:Prompt Caching 提示词缓存 Python 实战
python·缓存·prompt
NeilYuen1 天前
【vemory】高性能KV存储AOF方案设计
linux·c++·redis·缓存
LuminousCPP1 天前
数据结构基础篇(二):顺序表与链表全方位对比|从内存布局到 CPU 缓存理解底层差异
c语言·数据结构·经验分享·链表·缓存
spter。1 天前
Redis 与 Single-flight 的分工与协作
数据库·redis·缓存
清水白石0081 天前
Python 如何设计一个线程安全的缓存?从锁策略、LRU 到工程化实战
python·安全·缓存
小宋10212 天前
大模型应用如何控制成本与延迟:Token、缓存、流式和降级实战
人工智能·缓存
番茄炒鸡蛋加糖2 天前
项目技术点总结--四大核心技术+缓存
缓存
大飞记Python2 天前
AI大模型Token计费全解析:输入/输出、缓存命中、阶梯计价一文看懂
人工智能·缓存