解释一下RAG中的Rerank

Rerank其实一个是对初步检索返回的候选文档列表再次进行排序的过程。

如果把RAG的检索过程类比成公司的招聘过程,则有如下对应关系:

1.初步检索(Retrieval)

这一步就类似于HR筛选简历,找工作的人往往很多,HR每天都可能收到上万份甚至几万份简历。

假设有1万份简历,1个HR每天工作8小时,那么1小时之内就得看完1250份,平均到1分钟以内就得看完20多份,这几乎是不可能的。

所以,不可能每份简历HR都会细看。

那她会怎么看呢,主要就是看关键词,比如Java、 大模型等等,看到简历上有这些匹配的关键词字眼 ,就筛选出来。

这样做就会导致看似简历已经匹配上关键词了,但是候选人的能力可能还不太符合要求,只能选出前100个看似还行的候选人。

我们把这个场景对应到RAG的检索过程里面就是,向量检索,它虽然算得快,但是对语义的理解还差点意思。

2.重排序(Rerank)

这个过程就类似于企业招聘过程的业务面试,也就是主管把这100人的简历打印出来仔细阅读,如果觉得候选人的过往经历和工作经验很符合要求,就会约下一步的一对一业务面试。

这个过程花费的时间比较长,消耗的精力也更多,但是筛选出来的候选人也更符合要求。

这也就是RAG检索过程的Rerank,可以精准地判断初步检索返回的文档是不是真正能够回答用户的问题,最后再喂给大模型去生成一个答案。

相关推荐
官能5 天前
从 ReAct 到 LangGraph:房产 Agent 的工作流升级复盘
人工智能·语言模型
小马过河R5 天前
OpenClaw 记忆系统工作原理
人工智能·机器学习·语言模型·agent·openclaw·智能体记忆机制
硅谷秋水5 天前
从机制角度看视频生成作为世界模型:状态与动态
深度学习·机器学习·计算机视觉·语言模型·机器人
2501_948114245 天前
【2026架构实战】GPT-5.3与蒸汽数据融合:基于Open Claw与星链4SAPI的RAG落地指南
gpt·架构
摘星编程5 天前
大语言模型(Large Language Models,LLM)如何颠覆未来:深入解析应用、挑战与趋势
人工智能·语言模型·自然语言处理
zhangfeng11335 天前
快速验证哪个文件坏了 模型文件损坏或不完整大语言模型开发 .llm
人工智能·chrome·语言模型
nudt_qxx6 天前
讲透Transformer(六):FlashAttention 1→4 进化史:从在线Softmax到硬件极致利用
语言模型·transformer
Olivia_0_0_6 天前
【大语言模型系列】MCP——大模型工具调用的“统一接口”
人工智能·语言模型
~kiss~6 天前
高性能大语言模型推理与服务框架(推理引擎)vLLM
人工智能·语言模型·vllm
renhongxia16 天前
THINKSAFE:推理模型的自生成安全对齐
人工智能·深度学习·安全·语言模型·机器人·知识图谱