MRR(Mean Reciprocal Rank)和 NDCG(Normalized Discounted Cumulative Gain)

MRR计算就是看我想要的排序是第几。比如我要搜python教程,搜出来是:

(MRR(Mean Reciprocal Rank)平均倒数排名:第一个正确答案排在第几位,比如搜索python教程,第一个是python官网广告,第二个是某培训机构广告,第三个是python官方文档,第四个是某博客教程。那么第三个才是我想要的,所以MRR就是1/3.

NDCG:Normalized Discounted Cumulative Gain。不仅要看是否召回,还要看排序是否合理。假如标准答案中有5篇论文,相关性得分不同。

然后agent搜到到的论文顺序是:

看清楚这个是咋计算的,就是gain得分除以log以2为底,然后括号里面的数字是从2开始每次加一的

排在第 1 位:不打折,得分 = Gain / log₂(1+1) = Gain / 1

排在第 2 位:打折,得分 = Gain / log₂(2+1) = Gain / 1.58

排在第 3 位:更打折,得分 = Gain / log₂(3+1) = Gain / 2

排在第 10 位:严重打折,得分 = Gain / log₂(10+1) = Gain / 3.46

然后计算得到的值和期望得到的结果,也就是期望agent搜索得到的结果是:

将两个结果进行相除,来判断agent的效果

衡量排序质量的指标

相关推荐
AI创界者2 分钟前
进阶实战:AsyncIO 异步环境下的装饰器与代理模式演进
人工智能·aigc
tianxuanjg2 分钟前
航空批量零件制造采购指南:如何控制批次尺寸波动,锁定稳定供应商
人工智能·经验分享·机器人·无人机·制造·材质
外贸GEO优化7 分钟前
ChatGPT、Gemini、Perplexity、Copilot 怎么引中国供应商:广州外贸工厂按平台动作清单
人工智能·chatgpt·copilot
Data analyse4569 分钟前
用户路径SQL按会话起止时间聚合的方法
大数据·服务器·前端·数据库·人工智能·sql·数据分析
程序员清风11 分钟前
文本字段清洗:字符串、分类值与格式标准化
大数据·人工智能·分类
甲维斯11 分钟前
Gemin4 很难说好,但也不算差!
人工智能
智慧物业老杨12 分钟前
物业费催收难?数智化系统如何用技术重构“服务-收费“闭环
大数据·人工智能
u13013012 分钟前
GitHub 热榜项目:日榜(2026-10-14)
人工智能·github
Raas10013 分钟前
AI网关怎么选?MAI Gateway(魔芋企业级AI网关)入选2026年企业级AI网关推荐清单
大数据·网络·人工智能·gateway·mai gateway