分类常用的评价指标-二分类/多分类

二分类常用的性能度量指标

精确率、召回率、F1、TPR、FPR、AUC、PR曲线、ROC曲线、混淆矩阵

精确率」查准率 Precision=TP/(TP+FP)
召回率」查全率Recall=TP/(TP+FN)
真正例率」即为正例被判断为正例的概率TPR=TP/(TP+FN)
假正例率」即为反例被判断为正例的概率FPR=FP/(TN+FP)
F1 :

错误率

准确率:ACC = 1-e
混淆矩阵
样本失衡时,如何评价分类器的性能好坏?

使用ROC曲线

PR曲线

横轴是Recall,纵轴是Precision
PR曲线的意义

PR曲线可以用来衡量分类性能的好坏,从数值角度来说,PR曲线下的面积越大,分类性能越好,也就是说PR曲线越靠近右上角,性能越好!

我们把PR曲线下的面积称为AP分数。

好坏的比较

如果说,一条PR曲线完全在另外一条PR曲线之上,则代表其分类性能更好,但是在实际状况中,PR曲线存在着局部的上下波动,也就是说,PR曲线并不能直观的比较出不同分类模型的效果。

PR曲线的两个坐标轴即Recall、Precision分别表示模型对于正样本的查全率和查准率。也就是说PR曲线能够反应正样本的预测状况。
PR曲线的优缺点:

优点

对于类别分布差异敏感,常常用于样本类别不平衡的情况,因为PR曲线变换敏感,并且更加关心正例样本。
缺点

PR曲线对于类别不平衡,图像变换比较明显,除此之外,PR曲线过于粗糙,没办法精确的反应模型的性能。但我们可以从F1值直观的反应出来。

ROC曲线

ROC曲线:ROC空间是一个以

伪阳性率(FPR,false positive rate)为X轴,伪阳率FPR = FP / N

真阳性率(TPR, true positive rate)为Y轴,真阳率TPR = TP / P = recall,
ROC的优点:

可以兼顾正负样本的评估。因为ROC的横轴是FPR,纵轴是TPR,TPR聚焦于正样本、FPR聚焦于负样本,那么这样,ROC曲线成为一个比较均衡的评估方法。

ROC的两个指标都不依赖于具体的样本分布,可以看到TPR中的TP、FN均来自于P,而FPR中的FP和TN均来自于N。那也就是说,无论是P或者N哪一方的激增,都不会影响另外一个指标。

但是PR曲线中却不是,可以看到,FP来自N、TP来自P,易受类别分布的影响

ROC对于类别不平衡,反映到图上并不敏感。PR很敏感。
ROC的缺点:
ROC的优点也就是不随着类别分布而改变,或者说改变很小。这也是他的缺点,因为如果我们需要通过指标观测到类别分布变换带来的影响的话,ROC曲线便不适合。但是PR就很合适,因为PR也会随着类别分布的变换带来明显的变化。但是如果想要比较分类器的性能或者剔除掉类别分布的影响,ROC还是更合适的。

ROC曲线在类别分布不平衡下,表现出过于乐观的评估结果。比如:一个数据集包含20个正例,10000个负例。当前有20个负例预测为了正例,那么 FPR=20/(20+9980) ,如果再有20个负例预测成了正例,此时 FPR=40/(40+9960) 。可见FPR改变并不明显,但是此时精度从0.5降到了0.333。那么这样的变化,在ROC图像上只能带来非常微小的变换,无法直观的看出来。

ROC曲线与PR曲线的比较

ROC曲线和PR曲线都使用了Recall,只不过在ROC中,我们将其称为TPR,并且PR曲线中,TPR作为横轴。而在ROC中TPR作为纵轴。

ROC中曲线越靠近左上角,代表分类性能越好。而PR曲线中,越靠近右上角,代表分类性能越好。

在样本不平衡问题中,PR曲线较于ROC曲线适用范围更广。这是因为在样本不平衡的情况中,我们更关心正样本的分类情况。而在上文中,我们分析过PR曲线更关心正样本的变换情况。

AUC两种定义

AUC就是ROC曲线下的面积,AUC值越大,说明曲线顶点越靠近左上角,那么真阳率就越大于假阳率,那么模型就越可能将正样本排在负样本前面。
从统计特性的角度理解:

AUC等于随机挑选一个正样本和负样本时,模型对正样本的预测分数大于负样本的预测分数的概率。

AUC = P(P正>P负)
AUC与ROC曲线

对于0、1分类问题,一些分类器得到的结果并不是0或1,如神经网络得到的是0.5、0.6等,此时就需要一个阈值cutoff,那么小于阈值的归为0,大于的归为1,可以得到一个分类结果。

ROC曲线(Receiver Operational Characteristic Curve)是以False Positive

Rate为横坐标,True Postive Rate为纵坐标绘制的曲线。

曲线的点表示了在敏感度和特殊性之间的平衡,例如越往左,也就是假阳性越小,则真阳性也越小。曲线下面的面积越大,则表示该方法越有利于区分两种类别。

AUC即为ROC曲线所覆盖的区域面积。
ROC曲线的主要意义是方便观察阈值对学习器的泛化性能影响,所以有助于选择最佳的阈值 。ROC曲线越靠近左上角,模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值,其假正例和假反例总数最少。

多分类

kappa系数

相关推荐
庞传奇几秒前
TensorFlow 的基本概念和使用场景
人工智能·python·tensorflow
华清远见IT开放实验室8 分钟前
【每天学点AI】实战图像增强技术在人工智能图像处理中的应用
图像处理·人工智能·python·opencv·计算机视觉
OpenVINO 中文社区17 分钟前
实战精选|如何使用 OpenVINO™ 在 ElectronJS 中创建桌面应用程序
人工智能·openvino
只怕自己不够好21 分钟前
《OpenCV 图像缩放、翻转与变换全攻略:从基础操作到高级应用实战》
人工智能·opencv·计算机视觉
网络研究院27 分钟前
国土安全部发布关键基础设施安全人工智能框架
人工智能·安全·框架·关键基础设施
YRr YRr39 分钟前
如何使用 PyTorch 实现图像分类数据集的加载和处理
pytorch·深度学习·分类
不去幼儿园2 小时前
【MARL】深入理解多智能体近端策略优化(MAPPO)算法与调参
人工智能·python·算法·机器学习·强化学习
想成为高手4992 小时前
生成式AI在教育技术中的应用:变革与创新
人工智能·aigc
YSGZJJ3 小时前
股指期货的套保策略如何精准选择和规避风险?
人工智能·区块链
无脑敲代码,bug漫天飞3 小时前
COR 损失函数
人工智能·机器学习