解释一下RAG中的Rerank

Rerank其实一个是对初步检索返回的候选文档列表再次进行排序的过程。

如果把RAG的检索过程类比成公司的招聘过程,则有如下对应关系:

1.初步检索(Retrieval)

这一步就类似于HR筛选简历,找工作的人往往很多,HR每天都可能收到上万份甚至几万份简历。

假设有1万份简历,1个HR每天工作8小时,那么1小时之内就得看完1250份,平均到1分钟以内就得看完20多份,这几乎是不可能的。

所以,不可能每份简历HR都会细看。

那她会怎么看呢,主要就是看关键词,比如Java、 大模型等等,看到简历上有这些匹配的关键词字眼 ,就筛选出来。

这样做就会导致看似简历已经匹配上关键词了,但是候选人的能力可能还不太符合要求,只能选出前100个看似还行的候选人。

我们把这个场景对应到RAG的检索过程里面就是,向量检索,它虽然算得快,但是对语义的理解还差点意思。

2.重排序(Rerank)

这个过程就类似于企业招聘过程的业务面试,也就是主管把这100人的简历打印出来仔细阅读,如果觉得候选人的过往经历和工作经验很符合要求,就会约下一步的一对一业务面试。

这个过程花费的时间比较长,消耗的精力也更多,但是筛选出来的候选人也更符合要求。

这也就是RAG检索过程的Rerank,可以精准地判断初步检索返回的文档是不是真正能够回答用户的问题,最后再喂给大模型去生成一个答案。

相关推荐
java1234_小锋15 小时前
基于GPT-2通用文本模型全量微调训练
gpt
zP1nG15 小时前
Gemini 全能 QQ 机器人部署手册 (V1.0 Release)
语言模型·机器人
得物技术15 小时前
入选AAAI-PerFM|得物社区推荐之基于大语言模型的新颖性推荐算法
人工智能·语言模型·推荐算法
赋创小助手15 小时前
NVIDIA H100与GH200选型指南:AI与HPC负载的硬件适配方案
服务器·人工智能·深度学习·神经网络·语言模型·自然语言处理·tensorflow
yuezhilangniao16 小时前
ai开发 名词解释-概念理解-LLMs(大语言模型)Chat Models(聊天模型)Embeddings Models(嵌入模型).
人工智能·语言模型·自然语言处理
敲代码的猴先生16 小时前
论文分享 | 基于红绿列表的大语言模型水印技术
论文阅读·人工智能·深度学习·语言模型
Lian_Ge_Blog17 小时前
MOE/GShard/Switch_Transformers结构学习总结
语言模型
Loo国昌1 天前
【LangChain1.0】第八阶段:文档处理工程(LangChain篇)
人工智能·后端·算法·语言模型·架构·langchain
人工智能培训1 天前
开源与闭源大模型的竞争未来会如何?
人工智能·机器学习·语言模型·大模型·大模型幻觉·开源大模型·闭源大模型
向量引擎2 天前
[硬核架构] 2026 企业级 AI 网关落地指南:从“连接超时”到“秒级响应”的架构演进(附 Python/Java 源码)
人工智能·python·gpt·ai作画·架构·aigc·api调用