MRR(Mean Reciprocal Rank)和 NDCG(Normalized Discounted Cumulative Gain)

MRR计算就是看我想要的排序是第几。比如我要搜python教程,搜出来是:

(MRR(Mean Reciprocal Rank)平均倒数排名:第一个正确答案排在第几位,比如搜索python教程,第一个是python官网广告,第二个是某培训机构广告,第三个是python官方文档,第四个是某博客教程。那么第三个才是我想要的,所以MRR就是1/3.

NDCG:Normalized Discounted Cumulative Gain。不仅要看是否召回,还要看排序是否合理。假如标准答案中有5篇论文,相关性得分不同。

然后agent搜到到的论文顺序是:

看清楚这个是咋计算的,就是gain得分除以log以2为底,然后括号里面的数字是从2开始每次加一的

排在第 1 位:不打折,得分 = Gain / log₂(1+1) = Gain / 1

排在第 2 位:打折,得分 = Gain / log₂(2+1) = Gain / 1.58

排在第 3 位:更打折,得分 = Gain / log₂(3+1) = Gain / 2

排在第 10 位:严重打折,得分 = Gain / log₂(10+1) = Gain / 3.46

然后计算得到的值和期望得到的结果,也就是期望agent搜索得到的结果是:

将两个结果进行相除,来判断agent的效果

衡量排序质量的指标

相关推荐
小小程序猴17 小时前
企业AI培训怎么选?一个四层加权评估模型的实现:需求定位 + 深潜解析
人工智能
人工智能时代 准备好了吗7 小时前
产品搜索别名应该怎么用?
人工智能
火山引擎开发者社区7 小时前
多行业专家招募|参与访谈最高拿 4000元/h 现金报酬!
人工智能
大模型码小白7 小时前
数据可视化:AI处理多维数据的HTML5可视化方案
大数据·前端·javascript·人工智能·机器学习·信息可视化·html5
IvorySQL7 小时前
基于 PostgreSQL 的非线性回归原理与 AI 数据库融合实践
数据库·人工智能·postgresql
甲维斯7 小时前
GPT6发布了,“O哥”速评!
人工智能
AI增长技术研究院7 小时前
品牌别名实用指南:维护主名称、别名和禁用名清单
人工智能
字节跳动视频云技术团队7 小时前
豆包视频通话升级,火山引擎多模态传输系统提供技术支撑
人工智能·音视频开发
searchforAI7 小时前
AI自动总结YouTube视频:英文内容一键总结、智能时间戳、视频重点快速看
人工智能·ai·音视频
cxk18082727 小时前
2026 年9月 AI 营销机构选型方法论:基于 GEO 精采信模式的三维评估体系
大数据·人工智能·科技·ai·geo·昆明geo