2.7 ROC曲线相比P-R曲线有什么特点?

2.7 ROC曲线相比P-R曲线有什么特点?

前情提要:

P-R曲线详见:2.2 什么是精确率(Precision)与召回率(Recall)?二者如何权衡?

2.4 ROC曲线是什么?

2.5 如何绘制ROC曲线?

2.6 如何计算AUC?

P-R曲线和ROC曲线同样被经常用来评估分类和排序模型。

相比P-R曲线,ROC曲线有一个特点,当正负样本的分布发生变化时,

  • ROC曲线的形状能够基本保持不变

  • 而P-R 曲线的形状一般会发生较剧烈的变化。

举例来说,图2.3是ROC曲线和P-R曲线的对比图,

  • 其中图2.3(a)和图2.3( c )是ROC曲线,
  • 图2.3(b)和图2.3(d)是P-R 曲线,
  • 图2.3( c )和图2.3(d)则是将测试集中的负样本数量增加10倍后的曲线图。

​ 可以看出,P-R曲线发生了明显的变化,而ROC曲线形状基本不变。这个特点让ROC 曲线能够尽量降低不同测试集带来的干扰,更加客观地衡量模型本身的性能

这有什么实际意义呢?

​ 在很多实际问题中,正负样本数量往往很不均衡。比如,计算广告领域经常涉及转化率模型,正样本的数量往往是负样本数量的1/1000甚至1/10000。若选择不同的测试集,P-R 曲线的变化就会非常大,而ROC曲线则能够更加稳定地反映模型本身的好坏。所以,ROC 曲线的适用场景更多,被广泛用于排序、推荐、广告等领域。

​ 但需要注意的是,选择P-R 曲线还是ROC 曲线是因实际问题而异的,如果研究者希望更多地看到模型在特定数据集上的表现,P-R 曲线则能够更直观地反映其性能。

参考文献:

《百面机器学习》 诸葛越主编

出版社:人民邮电出版社(北京)

ISBN:978-7-115-48736-0

2022年8月第1版(2022年1月北京第19次印刷)

相关推荐
找方案1 小时前
AI视频生成对决:Sora vs 可灵 vs Veo,谁能定义未来
人工智能·机器学习·音视频
面朝大海,春不暖,花不开8 小时前
Buat New Trenches, Kalian Bisa Baca Panduan Meta Ini
人工智能·机器学习
VL——MOESR9 小时前
【具身智能】Cosmos Policy论文阅读随笔
论文阅读·人工智能·机器学习·具身智能·cosmospolicy
haon112210 小时前
树模型在信贷风控怎么用——从决策树到 XGBoost
大数据·人工智能·算法·决策树·机器学习·数据挖掘
阳明山水11 小时前
从相关到因果:预测科学的因果转向与可识别性挑战
人工智能·深度学习·算法·机器学习·架构
宣宣猪的小花园.11 小时前
【嵌入式】故障与降级:看门狗、保护机制和工程可靠性的底线
开发语言·人工智能·嵌入式硬件·机器学习
pjj1985411 小时前
深度学习-训练,评估与数据增强
人工智能·深度学习·机器学习
满怀冰雪11 小时前
25-迁移学习入门:加载预训练模型并微调
人工智能·python·机器学习·迁移学习·paddle
派大_星12 小时前
PyTorch CNN图片分类与数据增强实践
人工智能·深度学习·机器学习
2601_9622974812 小时前
基于LangChain+LLM大模型+机器学习的恶意域名(流量)智能检测系统
机器学习·langchain·llm·恶意域名·流量检测