分类任务评价指标

分类任务评价指标

分类任务中,有以下几个常用指标:

  • 混淆矩阵
  • 准确率(Accuracy)
  • 精确率(查准率,Precision)
  • 召回率(查全率,Recall)
  • F-score
  • PR曲线
  • ROC曲线

1. 混淆矩阵

真实1 真实0
预测1 TP FP
预测0 FN TN

预测的角度看:

  • TP: True Positive。预测为1,实际为1,预测正确。
  • FP: False Positive。预测为1,实际为0,预测错误。
  • FN: False Negative。预测为0,实际为1,预测错误。
  • TN: True Negative。预测为0,实际为0,预测正确。

2.准确率(Accuracy)

所有预测结果中,正确预测的占比:

Accuracy = \\frac{TP+TN}{TP+FP+FN+TN}

准确率衡量整体(包括正样本和负样本)的预测准确度 ,但不适用与样本不均衡的情况。比如有100个样本,其中正样本90个,负样本10个,此时模型将所有样本都预测为正样本就可以取得 90% 的准确率,但实际上这个模型根本就没有分类的能力。

3. 精确率(查准率,Precision)

所有预测为1的样本中,正确预测的占比:

Precision = \\frac{TP}{TP+FP}

衡量正样本的预测准确度

4. 召回率(查全率,Recall)

所有真实标签为1的样本中,正确预测的占比:

R e c a l l = T P T P + F N Recall = \frac{TP}{TP+FN} Recall=TP+FNTP

衡量模型预测正样本的能力

5. F-score

综合考虑精确率和召回率:

F_{score}=(1+\\beta^2)\\frac{PR}{\\beta^2\*P+R}

  • β=1,表示Precision与Recall一样重要(此时也叫F1-score
  • β<1,表示Precision比Recall重要
  • β>1,表示Recall比Precision重要

精确率和召回率相互"制约":精确率高,则召回率就低;召回率高,则精确率就低 。因此就需要综合考虑它们,最常见的方法就是 F-score 。F-score越大模型性能越好。

6. PR曲线

6.1 绘制方法

PR曲线以召回率R为横坐标、以精确率P为纵坐标,以下面的数据为例说明一下绘制方法:

1 2 3 4 5
预测为正类的概率 score 0.9 0.8 0.7 0.5 0.3
实际类别 class 1 0 1 1 0
  1. 将每个样本的预测结果按照预测为正类的概率排序(上面已排序)

  2. 依次看每个样本

    a) 对于样本1,将它的 score 0.9 作为阈值,即 score >= 0.9时样本预测为 1 ,反之预测为 0,得到以下混淆矩阵

    真实1 真实0
    预测1 1 0
    预测0 2 2

    b) 对于样本2,将它的 score 0.8 作为阈值,即 score >= 0.8时样本预测为 1 ,反之预测为 0,得到以下混淆矩阵

    真实1 真实0
    预测1 1 1
    预测0 2 1

    c) ......

    d) ......

    e) 对于样本5,将它的 score 0.3 作为阈值,即 score >= 0.3时样本预测为 1 ,反之预测为 0,得到以下混淆矩阵

    真实1 真实0
    预测1 3 2
    预测0 0 0
  3. 根据上面的混淆矩阵,依次算出 5 对(R, R),以召回率R为横坐标、以精确率P为纵坐标,将这些点连接起来即得到 PR 曲线。

6.2 模型性能衡量方法

  1. 如果曲线A完全"包住"曲线B,则A的性能优于B(P和R越高,代表算法分类能力越强);

  2. 曲线AB发生交叉时:以PR曲线下的面积作为衡量指标(这个指标通常难以计算);

  3. 使用 "平衡点"(P=R时的取值),值越大代表效果越优(这个点过于简化,更常用的是F1-score)。

7. ROC曲线

真阳性率(真实1里面正确预测为1的概率): T P R = T P T P + F N TPR = \frac{TP}{TP+FN} TPR=TP+FNTP

假阳性率(真实0里面错误预测为1的概率): F P R = F P F P + T N FPR = \frac{FP}{FP+TN} FPR=FP+TNFP

7.1 绘制方法

ROC曲线以假阳性率FPR为横坐标、以真阳性率TPR为纵坐标,以下面的数据为例说明一下绘制方法:

1 2 3 4 5
预测为正类的概率 score 0.9 0.8 0.7 0.5 0.3
实际类别 class 1 0 1 1 0
  1. 将每个样本的预测结果按照预测为正类的概率排序(上面已排序)

  2. 依次看每个样本

    a) 对于样本1,将它的 score 0.9 作为阈值,即 score >= 0.9时样本预测为 1 ,反之预测为 0,得到以下混淆矩阵

    真实1 真实0
    预测1 1 0
    预测0 2 2

    b) 对于样本2,将它的 score 0.8 作为阈值,即 score >= 0.8时样本预测为 1 ,反之预测为 0,得到以下混淆矩阵

    真实1 真实0
    预测1 1 1
    预测0 2 1

    c) ......

    d) ......

    e) 对于样本5,将它的 score 0.3 作为阈值,即 score >= 0.3时样本预测为 1 ,反之预测为 0,得到以下混淆矩阵

    真实1 真实0
    预测1 3 2
    预测0 0 0
  3. 根据上面的混淆矩阵,依次算出 5 对(FPR, TPR),以假阳性率FPR为横坐标、以真阳性率TPR为纵坐标,将这些点连接起来即得到 ROC 曲线。

7.2 模型性能衡量方法

ROC曲线下的面积(AUC)作为衡量指标,面积越大,性能越好。

7.3 AUC的计算

在有M个正样本,N个负样本的数据集里。一共有MN对样本(一对样本即一个正样本与一个负样本)。统计这MN对样本里,正样本的预测概率大于负样本的预测概率的个数:

A U C = ∑ I ( P 正样本 , P 负样本 ) M ∗ N AUC = \frac{\sum I(P_\text{正样本},P_\text{负样本})}{M^*N} AUC=M∗N∑I(P正样本,P负样本)

其中:

I ( P 正样本 , P 负样本 ) = { 1 , P 正样本 > P 正样本 0.5 , P 正样本 = P 负样本 0 , P 正样本 < P 负样本 I(P_\text{正样本},P_\text{负样本})=\begin{cases}1,P_\text{正样本}>P_\text{正样本}\\0.5,P_\text{正样本}=P_\text{负样本}\\0,P_\text{正样本}<P_\text{负样本}\end{cases} I(P正样本,P负样本)=⎩ ⎨ ⎧1,P正样本>P正样本0.5,P正样本=P负样本0,P正样本<P负样本

相关推荐
你觉得20517 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
向上的车轮19 小时前
NOA是什么?国内自动驾驶技术的现状是怎么样的?
人工智能·机器学习·自动驾驶
你觉得20520 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
人工干智能20 小时前
科普:One-Class SVM和SVDD
人工智能·机器学习·支持向量机
MPCTHU21 小时前
预测分析(三):基于机器学习的分类预测
人工智能·机器学习·分类
_一条咸鱼_21 小时前
LangChain 入门到精通
机器学习
3DVisionary1 天前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究
人工智能·机器学习·3d·3d-dic技术 机器学习·应力-应变本构行为·卷积神经网络(ecnn)·数字图像相关法(dic)
神经星星1 天前
无需预对齐即可消除批次效应,东京大学团队开发深度学习框架STAIG,揭示肿瘤微环境中的详细基因信息
人工智能·深度学习·机器学习
神经星星1 天前
【vLLM 学习】调试技巧
人工智能·机器学习·编程语言
呵呵哒( ̄▽ ̄)"1 天前
线性代数:同解(1)
python·线性代数·机器学习