【HBZ分享】高并发下如何设计缓存来提升系统性能?

普通模式

  1. 普通模式即前段调用后端接口,然后后端先查缓存, 查不到的情况下再查数据库,然后把数据库中的内容放到缓存中。
  2. 瓶颈:瓶颈在于tomcat的性能,一般并发可以,面临海量并发冲击,tomcat就显得心有余而力不足了。

主角1: Nginx + Lua + Redis模式

  1. 通过Lua脚本二次开发Nginx,使得nginx可以直连redis获取数据,nginx的单节点性能可达到10W / s 的查询。
  2. lua脚本可以直接连redis,同时也可以直接连mysql,当redis没有数据的时候,即可以通过后端查mysql,也可以直连mysql查询,然后再放入到redis中,具体就看怎么设计了
  3. 缺点:做redis和mysql数据同步时,还需要自行写逻辑,以及还要维护不同应用程序多个key的情况,并且一致性问题也会有, 增加开发复杂度

主角2: Nginx + Lua + Redis + Cancel模式

  1. 这个比主角1多了个cancel,这个cancel会读取mysql server的binlog日志,然后发送到Kafka或者Rabbitmq中, 在使用java进行监听Kafka,然后把kafka的内容进行解析,更新到redis缓存即可。
  2. 然后nginx依然结合lua脚本,直接连radis即可,并且无需格外考虑Redis如果不存在是否要从数据库查询,因为只要数据库数据有变动,cancel就会监听到,然后把变动的数据发送到kafka,后端监听kafka会自动把数据更新到缓存中。
  3. 这种方案的数据同步全程无需写多余的逻辑代码,只需要监听cancel发送到kafka中的数据即可,然后做一个更新,极大地减少开发复杂度,并且也更能够缩短数据不一致性的时间间隔。
  4. 缺点:链路更加复杂,要确保Cancel的可用性,适合超高并发的大型项目下使用。并且依然会存在一部分数据不一致性问题。

有关数据一致性的问题,是否有解决方案能够达到完全一致性?

答案: 只要使用了缓存,就必不可能达到强一致性,没有任何方案能做到,缓存和DB之前永远存在着一层网络交互,所以就永远不可能实现强一致性。

相关推荐
九皇叔叔17 小时前
【第二章】Redis基础入门:Redis是什么、为什么快以及核心特性详解
数据库·redis·缓存
敲代码的嘎仔1 天前
用 Redis 合并写 + DelayQueue 延迟检测,把视频播放进度写库频率降到 1/60
java·开发语言·数据库·redis·缓存·音视频·高并发
程序猿乐锅1 天前
【黑马点评 | 第一篇】从 Session 到 Redis+Token 的改造与拦截器实现
数据库·redis·缓存
野生技术架构师1 天前
Redis Hot Key 与 Big Key:危害、发现与解决方案
数据库·redis·缓存
零依赖极客1 天前
Day 9·1 KV 也量化——q8 KV 把缓存与 decode 带宽压到一半
c语言·开发语言·arm开发·人工智能·缓存·矩阵
敲代码的嘎仔1 天前
互动问答系统实战:两级评论模型、ES 搜索集成、Caffeine 多级缓存全记录
java·开发语言·数据库·elasticsearch·缓存·mybatis·高并发
vortex51 天前
AI 提示词缓存命中机制解析
人工智能·缓存
huang5791471 天前
从缓存行角度优化链表遍历:批处理与预取策略
数据结构·链表·缓存
玄芯散人2 天前
【筑基·047】内存Hierarchy:寄存器到硬盘的速度差
缓存·内存·计算机基础
xhbh6662 天前
中小企业 Redis 运维,如何安全归档 RDB、AOF 备份文件?
运维·数据库·缓存·数据备份·文件备份·同步备份·号码备份