小白的RAG缓存

RAG流程:

  1. 用户提问(q

  2. q做处理(重写 \ 查询扩展 \ 向量化)

  3. 向量库检索(向量相似度匹配)

  4. q+选出的文档片段组合成prompt

  5. 调用大模型回答a

1.完整问答缓存(qa cache

将每个q标准化以后,与对应的a做匹配后存入缓存,当用户再问同样的问题后直接返回与其对应的a

key : q问题(标准化后的问题)

value :模型返回的答案

2. 近似问题缓存

3. 检索结果缓存

相关推荐
belldeep9 分钟前
python:pyTorch 入门教程
pytorch·python·ai·torch
longze_719 分钟前
生成式UI与未来AI交互变革
人工智能·python·ai·ai编程·cursor·蓝湖
jmxwzy27 分钟前
Redis
数据库·redis·缓存
零叹30 分钟前
Redis热Key——大厂是怎么解决的
数据库·redis·缓存·热key
win x33 分钟前
Redis事务
数据库·redis·缓存
千匠网络42 分钟前
重构B2B交易:千匠用AI打造下一代智能商城
ai·电商平台·b2b·b2b商城
Want5951 小时前
未来AI会取代人类吗?
人工智能·大模型·aigc
过河卒_zh15667661 小时前
喜讯:第十五批生成合成类算法备案备案号公布
人工智能·算法·aigc·生成式人工智能·算法备案
坐不住的爱码1 小时前
Nacos实例缓存
缓存·cloud
GHL2842710901 小时前
通义千问的 Function Call - demo学习
学习·ai·ai编程