解释一下RAG中的Rerank

Rerank其实一个是对初步检索返回的候选文档列表再次进行排序的过程。

如果把RAG的检索过程类比成公司的招聘过程,则有如下对应关系:

1.初步检索(Retrieval)

这一步就类似于HR筛选简历,找工作的人往往很多,HR每天都可能收到上万份甚至几万份简历。

假设有1万份简历,1个HR每天工作8小时,那么1小时之内就得看完1250份,平均到1分钟以内就得看完20多份,这几乎是不可能的。

所以,不可能每份简历HR都会细看。

那她会怎么看呢,主要就是看关键词,比如Java、 大模型等等,看到简历上有这些匹配的关键词字眼 ,就筛选出来。

这样做就会导致看似简历已经匹配上关键词了,但是候选人的能力可能还不太符合要求,只能选出前100个看似还行的候选人。

我们把这个场景对应到RAG的检索过程里面就是,向量检索,它虽然算得快,但是对语义的理解还差点意思。

2.重排序(Rerank)

这个过程就类似于企业招聘过程的业务面试,也就是主管把这100人的简历打印出来仔细阅读,如果觉得候选人的过往经历和工作经验很符合要求,就会约下一步的一对一业务面试。

这个过程花费的时间比较长,消耗的精力也更多,但是筛选出来的候选人也更符合要求。

这也就是RAG检索过程的Rerank,可以精准地判断初步检索返回的文档是不是真正能够回答用户的问题,最后再喂给大模型去生成一个答案。

相关推荐
小超同学你好23 分钟前
Langgraph 17. Skills 三级加载与 Token 优化(含代码示例)
人工智能·语言模型·langchain
吴佳浩 Alben24 分钟前
GPU 编号错乱踩坑指南:PyTorch cuda 编号与 nvidia-smi 不一致
人工智能·pytorch·python·深度学习·神经网络·语言模型·自然语言处理
吴佳浩 Alben40 分钟前
CUDA_VISIBLE_DEVICES、多进程与容器化陷阱
人工智能·pytorch·语言模型·transformer
大模型任我行1 小时前
腾讯:揭示评估幻觉并构建知识驱动新范式
人工智能·语言模型·自然语言处理·论文笔记
FserSuN4 小时前
论文学习《ReAct: 在大语言模型中协同推理与行动》
语言模型
zhangfeng11335 小时前
LLM 大语言模型 训练的时候 batchsize 调整大导致梯度爆炸问题解决
深度学习·机器学习·语言模型
Xpower 175 小时前
Clawith:开启多智能体协作的新纪元
人工智能·python·语言模型·自动化
ofoxcoding6 小时前
2026 大模型 API 价格一览:GPT-5/Claude 4.6/Gemini 3/DeepSeek V3 费率实测对比
gpt·ai
柯儿的天空6 小时前
【OpenClaw 全面解析:从零到精通】第 021 篇:Claw 家族全景——从桌面级到边缘部署的轻量级智能体变体深度解析
gpt·ai作画·自动化·aigc·ai编程·ai写作·agi
Hello.Reader6 小时前
BERT 和 GPT 为什么结构不同?——Encoder 与 Decoder 图解
人工智能·gpt·bert