MRR(Mean Reciprocal Rank)和 NDCG(Normalized Discounted Cumulative Gain)

MRR计算就是看我想要的排序是第几。比如我要搜python教程,搜出来是:

(MRR(Mean Reciprocal Rank)平均倒数排名:第一个正确答案排在第几位,比如搜索python教程,第一个是python官网广告,第二个是某培训机构广告,第三个是python官方文档,第四个是某博客教程。那么第三个才是我想要的,所以MRR就是1/3.

NDCG:Normalized Discounted Cumulative Gain。不仅要看是否召回,还要看排序是否合理。假如标准答案中有5篇论文,相关性得分不同。

然后agent搜到到的论文顺序是:

看清楚这个是咋计算的,就是gain得分除以log以2为底,然后括号里面的数字是从2开始每次加一的

排在第 1 位:不打折,得分 = Gain / log₂(1+1) = Gain / 1

排在第 2 位:打折,得分 = Gain / log₂(2+1) = Gain / 1.58

排在第 3 位:更打折,得分 = Gain / log₂(3+1) = Gain / 2

排在第 10 位:严重打折,得分 = Gain / log₂(10+1) = Gain / 3.46

然后计算得到的值和期望得到的结果,也就是期望agent搜索得到的结果是:

将两个结果进行相除,来判断agent的效果

衡量排序质量的指标

相关推荐
高升说6 分钟前
手眼方案怎么选:眼在手上与眼在手外的工程对比
人工智能·数码相机
Highcharts.js22 分钟前
智能数据分析组件Orbit 正式发布与快速上手体验教程
前端·人工智能·信息可视化·数据分析系统·highcharts·orbit·智能可视化
apple_6926588529 分钟前
基于 Qwen-Image-2.1 的人物替换 LoRA 模型及部署工作流 人物替换的效果 吊打闭源
人工智能·计算机视觉
甲维斯33 分钟前
绝了!Codex找苹果客服解决Claude订阅问题!
人工智能
斗象科技36 分钟前
斗象入选上海市“AI+制造“服务商能力图谱·AI安全服务商
人工智能·安全·制造
明志数科43 分钟前
工业采集数据的计量口径分层与可复算质检设计
人工智能·机器人
qq_25294131681 小时前
日本道路病害检测数据集 | 道路病害 裂缝检测 坑洼识别 市政巡检9287期
人工智能·深度学习·yolo·目标检测·计算机视觉·道路检测
yumengxt1 小时前
「屿梦星途GEO」系列 · 每日AI资讯解读
人工智能
Qianxueban1 小时前
如果卷积核大小固定,步长固定,那经过i次卷积,它一个像素的感受野是多大?
人工智能·深度学习·计算机视觉
拆房老料1 小时前
DeepSeek Super-agent 架构解析:从单任务 Agent 到持续运行的任务系统
人工智能·设计模式·系统架构