评价指标--深度学习

目录

  • 1分类任务
    • [1.1 二分类](#1.1 二分类)
      • [1.1.1 含义介绍](#1.1.1 含义介绍)
      • [1.1.2 指标](#1.1.2 指标)
    • 1.2多分类
  • 2图像分割
    • [2.1 常用指标](#2.1 常用指标)
    • [2.2 具体含义](#2.2 具体含义)
      • [2.3 代码实现](#2.3 代码实现)

1分类任务

1.1 二分类

混淆矩阵

1.1.1 含义介绍

  • TP:预测为真所以是Positive,预测结果和真实结果一致所以为True
  • TN:预测为假所以是Negative,预测结果和真实结果一致所以为True
  • FP:预测为真所以是Positive,预测结果和真实结果不一致所以为False
  • FN:预测为假所以是Negative,预测结果和真实结果不一致所以为False

1.1.2 指标

  • Accuracy(准确率)

准确率(Accuracy)表示分类正确的样本占总样本个数的比例。

优点:当样本中不同类别比例均衡时,Accuracy是衡量分类模型的最直白的指标,是一个较好的衡量标准

缺点:当样本中不同类别比例不均衡时,其中占比大的类别会是影响准确率的最主要的因素。

A c c u r a c y = T P + T N T P + F P + T N + F N Accuracy=\frac{TP+TN}{TP+FP+TN+FN} Accuracy=TP+FP+TN+FNTP+TN

  • Precision(精确率)

别名查准率,表示预测结果为正例的样本中实际为正样本的比例。

特点:使用场景:当反例被错误预测成正例(FP)的代价很高时,适合用精确率。

P r e c i s i o n = T P T P + F P Precision=\frac{TP}{TP+FP} Precision=TP+FPTP

  • 召回率

别名查全率,表示预测结果为正样本中实际正样本数量占全样本中正样本的比例。

特点:当正例被错误的预测为反例(FN)产生的代价很高时,适合用召回率。

R e c a l l = T P T P + F N Recall=\frac{TP}{TP+FN} Recall=TP+FNTP

  • F1 score

F1 score是精确率和召回率的一个加权平均。

特点:Precision体现了模型对负样本的区分能力,Precision越高,模型对负样本的区分能力越强;Recall体现了模型对正样本的识别能力,Recall越高,模型对正样本的识别能力越强。F1 score是两者的综合,F1 score越高,说明模型越稳健。

F 1 = 2 ∗ P r e c i s i o n ∗ R e c a l l P r e c i s i o n + R e c a l l F_1=2*\frac{Precision*Recall}{Precision+Recall} F1=2∗Precision+RecallPrecision∗Recall

1.2多分类

2图像分割

2.1 常用指标

这里的主要是评价两个集合之间的相似性
像素准确率(Pixel Accuracy,PA)
类别像素准确率(Class Pixel Accuray,CPA)
类别平均像素准确率(Mean Pixel Accuracy,MPA)
交并比(Intersection over Union,IoU)
平均交并比(Mean Intersection over Union,MIoU)

Dice coefficient

2.2 具体含义

  • PA 预测类别正确的像素数占总像素数的比例

混淆矩阵计算:

对角线元素之和 / 矩阵所有元素之和
P A = T P + T N T P + F P + T N + F N PA=\frac{TP+TN}{TP+FP+TN+FN} PA=TP+FP+TN+FNTP+TN

  • CPA

在类别 i 的预测值中,真实属于 i 类的像素准确率,换言之:模型对类别 i 的预测值有很多,其中有对有错,预测对的值占预测总值的比例

混淆矩阵计算:
类 1 : P 1 = T P ( T P + F P ) 类1:P1 = \frac{TP} {(TP + FP)} 类1:P1=(TP+FP)TP
类 2 : P 2 = T P ( T P + F P ) 类2:P2 = \frac{TP} {(TP + FP)} 类2:P2=(TP+FP)TP
类 3 : ... 类3:... 类3:...

  • MPA:类别平均像素准确率 分别计算每个类被正确分类像素数的比例,即:CPA,然后累加求平均

混淆矩阵计算:

每个类别像素准确率为:Pi(计算:对角线值 / 对应列的像素总数)
M P A = s u m ( P i ) 类别数 MPA = \frac{sum(P_i) } {类别数} MPA=类别数sum(Pi)

  • IoU:交并比

模型对某一类别预测结果和真实值的交集与并集的比值

混淆矩阵计算:

以求二分类:正例(类别1)的IoU为例

交集:TP,并集:TP、FP、FN求和

IoU = TP / (TP + FP + FN)

  • MIoU:平均交并比

模型对每一类预测的结果和真实值的交集与并集的比值,求和再平均的结果

混淆矩阵计算:

以求二分类的MIoU为例

MIoU = (IoU正例p + IoU反例n) / 2 = [ TP / (TP + FP + FN) + TN / (TN + FN + FP) ] / 2

2.3 代码实现

=持续更新=========

相关推荐
昨日之日20063 分钟前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper3 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号3 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha3 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云3 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊3 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint4 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨4 小时前
zotero扩容
人工智能·笔记
大数据张老师4 小时前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构
AKAMAI4 小时前
Entity Digital Sports 降低成本并快速扩展
人工智能·云计算