小白的RAG缓存

RAG流程:

  1. 用户提问(q

  2. q做处理(重写 \ 查询扩展 \ 向量化)

  3. 向量库检索(向量相似度匹配)

  4. q+选出的文档片段组合成prompt

  5. 调用大模型回答a

1.完整问答缓存(qa cache

将每个q标准化以后,与对应的a做匹配后存入缓存,当用户再问同样的问题后直接返回与其对应的a

key : q问题(标准化后的问题)

value :模型返回的答案

2. 近似问题缓存

3. 检索结果缓存

相关推荐
AlbertZein1 天前
Step-5-Preview 上手实测:3D 游戏、金融分析、网页设计一次跑完
人工智能·aigc
感谢地心引力1 天前
我用 Doubao-Seed-2.1-pro 做了一个深度融入 AI 功能的本地知识库软件
ai·开源·seed·markdown·豆包
阿昌喜欢吃黄桃2 天前
提示词工程:User Prompt 与 System Prompt
ai·prompt·提示词·提示词工程
AI产品测评官2 天前
海内外AI招聘工具分赛道横向对比:五大品类的技术路线与选型参考
人工智能·ai·求职招聘
俊哥V2 天前
每日 AI 研究简报 · 2026-09-21
人工智能·ai
AIGCmagic社区2 天前
文档智能专题:小模型后训练怎么选样本?PaddleOCR-VL-1.6按三类弱点挖掘
人工智能·aigc·文档智能
AIGCmagic社区2 天前
文档智能专题:HunyuanOCR-1.5用DFlash把整页解码压到1.4秒
人工智能·aigc·文档智能
小虎AI生活2 天前
腾讯开源了一个项目,让 AI 直接用你已经登录好的浏览器
aigc·ai编程
omenkk72 天前
上下文工程:优化系统提示词,利用 KV Cache 降低 Token 成本
ai
全栈弄潮儿²⁰²⁴2 天前
AI Agent 开发实战(30):限流、缓存与成本控制
人工智能·gpt·缓存·agent·限流·agi·成本控制