AI大模型对话(上下文)缓存能力

互联网应用中,为了提高数据获取的即时性,产生了各种分布式缓存组件,比如Redis、Memcached等等。

大模型时代,除非是免费模型,否则每次对话都会花费金钱来进行对话,对话是不是也可以参照缓存的做法来提高命中率,即时响应提高需求呢。

近日,月之暗面提出了上下文缓存的概念。

Context Caching (上下文缓存)是一种高效的数据管理技术,它允许系统预先存储那些可能会被频繁请求的大量数据或信息。这样,当您再次请求相同信息时,系统可以直接从缓存中快速提供,而无需重新计算或从原始数据源中检索,从而节省时间和资源。

不过定价还是比较贵的,按时长计算。特别是对于智能客户场景,用户提问的问题总归是趋于收敛的,所以可以节省不少资金花费。

同样,使用分布式缓存的做法,一样可以完成对话缓存,每次提问先经过模型比对,因为有语义理解能力,即便不是同一句话,但意思相同,一样可以认为是命中,命中后就可以直接从缓存中取出数据来响应用户。

Context Caching 特别适合于用频繁请求,重复引用大量初始上下文的情况,通过重用已缓存的内容,可以显著提高效率并降低费用。因为这个功能具有强烈的业务属性,我们下面简单列举一些合适的业务场景:

  1. 提供大量预设内容的 QA Bot,例如 Kimi API 小助手。
  2. 针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具。
  3. 对静态代码库或知识库的周期性分析,例如各类 Copilot Agent。
  4. 瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles。
  5. 交互规则复杂的 Agent 类应用,例如什么值得买 Kimi+ 等。
相关推荐
-Xie-3 天前
Mysql杂志(十六)——缓存池
数据库·mysql·缓存
七夜zippoe3 天前
缓存与数据库一致性实战手册:从故障修复到架构演进
数据库·缓存·架构
weixin_456904273 天前
跨域(CORS)和缓存中间件(Redis)深度解析
redis·缓存·中间件
MarkHard1233 天前
如何利用redis使用一个滑动窗口限流
数据库·redis·缓存
心想事成的幸运大王3 天前
Redis的过期策略
数据库·redis·缓存
wuyunhang1234564 天前
Redis---集群模式
数据库·redis·缓存
没有bug.的程序员4 天前
Redis 大 Key 与热 Key:生产环境的风险与解决方案
java·数据库·redis·缓存·热key·大key
wuyunhang1234564 天前
Redis----缓存策略和注意事项
redis·缓存·mybatis
零雲4 天前
除了缓存,我们还可以用redis做什么?
数据库·redis·缓存
梦中的天之酒壶4 天前
多级缓存架构
缓存·架构