AI大模型对话(上下文)缓存能力

互联网应用中,为了提高数据获取的即时性,产生了各种分布式缓存组件,比如Redis、Memcached等等。

大模型时代,除非是免费模型,否则每次对话都会花费金钱来进行对话,对话是不是也可以参照缓存的做法来提高命中率,即时响应提高需求呢。

近日,月之暗面提出了上下文缓存的概念。

Context Caching (上下文缓存)是一种高效的数据管理技术,它允许系统预先存储那些可能会被频繁请求的大量数据或信息。这样,当您再次请求相同信息时,系统可以直接从缓存中快速提供,而无需重新计算或从原始数据源中检索,从而节省时间和资源。

不过定价还是比较贵的,按时长计算。特别是对于智能客户场景,用户提问的问题总归是趋于收敛的,所以可以节省不少资金花费。

同样,使用分布式缓存的做法,一样可以完成对话缓存,每次提问先经过模型比对,因为有语义理解能力,即便不是同一句话,但意思相同,一样可以认为是命中,命中后就可以直接从缓存中取出数据来响应用户。

Context Caching 特别适合于用频繁请求,重复引用大量初始上下文的情况,通过重用已缓存的内容,可以显著提高效率并降低费用。因为这个功能具有强烈的业务属性,我们下面简单列举一些合适的业务场景:

  1. 提供大量预设内容的 QA Bot,例如 Kimi API 小助手。
  2. 针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具。
  3. 对静态代码库或知识库的周期性分析,例如各类 Copilot Agent。
  4. 瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles。
  5. 交互规则复杂的 Agent 类应用,例如什么值得买 Kimi+ 等。
相关推荐
松韬2 小时前
Spring + Redisson:从 0 到 1 搭建高可用分布式缓存系统
java·redis·分布式·spring·缓存
·云扬·3 小时前
深度剖析 MySQL 与 Redis 缓存一致性:理论、方案与实战
redis·mysql·缓存
汤姆大聪明3 小时前
Redisson 操作 Redis Stream 消息队列详解及实战案例
redis·spring·缓存·maven
敲上瘾6 小时前
高并发内存池(二):Central Cache的实现
linux·服务器·c++·缓存·哈希算法
Feng.Lee18 小时前
聊一聊缓存如何进行测试
功能测试·测试工具·缓存
小吴先生66620 小时前
Groovy 规则执行器,加载到缓存
java·开发语言·缓存·groovy
Chandler241 天前
Redis:内存淘汰原则,缓存击穿,缓存穿透,缓存雪崩
数据库·redis·缓存
Foyo Designer1 天前
【 <二> 丹方改良:Spring 时代的 JavaWeb】之 Spring Boot 中的国际化:支持多语言的 RESTful API
java·spring boot·redis·后端·spring·缓存·restful
Unlimitedz1 天前
音乐缓存管理器的性能优化方法分析
缓存·性能优化