MRR(Mean Reciprocal Rank)和 NDCG(Normalized Discounted Cumulative Gain)

MRR计算就是看我想要的排序是第几。比如我要搜python教程,搜出来是:

(MRR(Mean Reciprocal Rank)平均倒数排名:第一个正确答案排在第几位,比如搜索python教程,第一个是python官网广告,第二个是某培训机构广告,第三个是python官方文档,第四个是某博客教程。那么第三个才是我想要的,所以MRR就是1/3.

NDCG:Normalized Discounted Cumulative Gain。不仅要看是否召回,还要看排序是否合理。假如标准答案中有5篇论文,相关性得分不同。

然后agent搜到到的论文顺序是:

看清楚这个是咋计算的,就是gain得分除以log以2为底,然后括号里面的数字是从2开始每次加一的

排在第 1 位:不打折,得分 = Gain / log₂(1+1) = Gain / 1

排在第 2 位:打折,得分 = Gain / log₂(2+1) = Gain / 1.58

排在第 3 位:更打折,得分 = Gain / log₂(3+1) = Gain / 2

排在第 10 位:严重打折,得分 = Gain / log₂(10+1) = Gain / 3.46

然后计算得到的值和期望得到的结果,也就是期望agent搜索得到的结果是:

将两个结果进行相除,来判断agent的效果

衡量排序质量的指标

相关推荐
长和信泰光伏储能1 小时前
探索未来能源:光伏储能技术解析
大数据·人工智能·能源
寻道码路1 小时前
LangChain4j Java AI 应用开发实战(二十六):多模型集成策略 —— OpenAI、DeepSeek、阿里百炼混合使用
java·开发语言·人工智能·ai
直接冲冲冲1 小时前
65-批量归一化
人工智能·深度学习·计算机视觉
树獭非懒1 小时前
六、Plan-and-Solve智能体:学会三思而后行
人工智能·llm·agent
武子康1 小时前
调查研究-214 OpenAI:Agent 不是更聪明的聊天框,而是新的工作组织方式
人工智能·openai·agent
火山引擎开发者社区1 小时前
告别手动翻资料:用 Agent Plan 搞定销售档案与问答
人工智能
鹰影471 小时前
一款AI笔记助手和远程同步的markdown笔记idea-note
人工智能·笔记·rust·typescript·react
城事漫游Molly2 小时前
如何写出有说服力的研究论文Introduction——论证框架切入法
人工智能·论文写作·ai for science·博士生必读
FL16238631292 小时前
养猪场耳标检测数据集VOC+YOLO格式744张1类别有增强
深度学习·yolo·机器学习