小白的RAG缓存

RAG流程:

  1. 用户提问(q

  2. q做处理(重写 \ 查询扩展 \ 向量化)

  3. 向量库检索(向量相似度匹配)

  4. q+选出的文档片段组合成prompt

  5. 调用大模型回答a

1.完整问答缓存(qa cache

将每个q标准化以后,与对应的a做匹配后存入缓存,当用户再问同样的问题后直接返回与其对应的a

key : q问题(标准化后的问题)

value :模型返回的答案

2. 近似问题缓存

3. 检索结果缓存

相关推荐
周末程序猿1 小时前
浅析大模型推理十二篇之关键指标
aigc
fthux2 小时前
装闭 RenoPit 源码解析(06):SSE如何实时推送AI装修分析进度
人工智能·ai·开源·github·open source·renopit
LyridRelan3 小时前
Skill Cli MCP 的三者关系以及部分Q&A
人工智能·ai·个人开发
兮动人4 小时前
AI 开始接管工作台:谁会成为下一代电脑入口?
人工智能·ai·chatgpt·codex·workbuddy
thesky1234565 小时前
智能体面试准备(二十六):Agent 成本工程——模型路由、缓存、预算控制与大小模型分工
缓存·llmops·智能体·模型路由·成本工程·预算控制·小模型分工
AI探索派8 小时前
AI视频笔记工具怎么选:Ai好记、通义听悟、Get笔记、听脑AI横向对比
ai·效率神器·视频总结·ai笔记·视频转笔记
科技新资讯8 小时前
AIGC重构工业设计 一号设计解锁智造新势能
人工智能·重构·aigc
cfm_29149 小时前
高并发系统缓存全解
java·缓存
天天有money9 小时前
API中转站与多账号内容运营:如何统一管理不同项目的调用
gpt·ai·chatgpt·产品运营·内容运营