数据挖掘——模型的评价

数据挖掘------模型的评价

模型的评价

混淆矩阵

准确率= a + d a + b + c + d \frac{a+d}{a+b+c+d} a+b+c+da+d= T P + T N T P + T N + F P + F N \frac{TP+TN}{TP+TN+FP+FN} TP+TN+FP+FNTP+TN

其他度量

查全率VS查准率

  • 地震的预测:对于地震的预测,我们希望的是recall非常高,也就是说每次地震我们都希望预测出来。这个时候我们可以牺牲precision。情愿发出1000次警报,把10次地震都预测正确了,也不要预测100次,对了8次,漏了2次。
  • 嫌疑人定罪:基于不错怪一个好人的原则,对于嫌疑人的定罪我们希望是非常准确的(precision高),及时有时候放过了一些罪犯(recall低),但也是值得的。

F1 score : F 1 = 2 r p r + p F_1=\frac{2rp}{r+p} F1=r+p2rp

r表示召回率(recall),p表示精确率(precision)

ROC曲线

接收者操作特征曲线(ReceiverOperating Characteristic Curve,或者叫ROC曲线)是一种坐标图式的分析工具,用于

  • 选择最佳的分类模型、舍弃次佳的模型。
  • 在同一模型中设定最佳阈值。

给定一个二元分类模型和它的阈值,就能从所有样本的(阳性/阴性)真实值和预测值计算出一个 (X=FPR,Y=TPR)坐标点。

(FPR,TPR):

  • (0,0):任何分类都是阴性
  • (1,1):任何分类都是阳性
  • (0,1):理想分类

对角线:

  • 随机猜测结果
  • 对角线以下:预测结果与真实结果相反

ROC曲线下方面积:AUC

ideal:Area=1

Random guess:Area=0.5

如何构建ROC曲线

首先利用分类器计算每个数据记录的后验概率P(+|A)

将这些数据记录对应的P(+|A)从高到低排列:

  • 由低到高, 对于每个P(+|A)值(threshold,阈值),把对应的记录以及那些值高于或等于阈值指派为阳性类positive, 把那些值低于阈值指派为阴性类negative
  • 统计 TP,FP,TN,FN
  • 计算TPR=TP/(TP+FN)和FPR=FP/(FP+TN)

绘出诸点(FPR,TPR)并连接它们

模型过分拟合和拟合不足

分类模型的误差大致分为两种:

  • 训练误差:是在训练记录上误分类样本比例
  • 泛化误差:是模型在未知记录上的期望误差

一个好的分类模型不仅要能够很好的拟合训练数据,而且对未知样本也要能准确分类。

换句话说,一个好的分类模型必须具有低训练误差和低泛化误差。

当训练数据拟合太好的模型(较低训练误差 ),其泛化误差 可能比具有较高训练误差 的模型高,这种情况成为模型过分拟合

根据少量训练记录做出分类决策的模型也容易受过分拟合的影响。

由于训练数据缺乏具有代表性的样本,在没有多少训练记录的情况下,学习算法仍然细化模型就会产生过分拟合。

减少泛化误差

过分拟合的主要原因一直是个争辩的话题,但数据挖掘研究界普遍认为模型的复杂度对模型的过分拟合有影响。

如何确定正确的模型复杂度?理想的复杂度是能产生最低泛化误差的模型的复杂度。

奥卡姆剃刀定律:在解释一个现象或问题时,应当尽量简洁地使用最少的假设。

根据奥卡姆剃刀原则

  • 引入惩罚项,使较简单的模型比复杂的模型更可取
    • 引入正则项
    • 神经网络中,引入dropout机制


使用验证集

该方法中,不是用训练集估计泛化误差,而是把原始的训练数据集分为两个较小的子集,一个子集用于训练,而另一个称为验证集,用于估计泛化误差。

该方法为评估模型在未知样本上的性能提供了较好办法。

相关推荐
说私域1 小时前
社群团购平台的运营模式革新:以开源AI智能名片链动2+1模式商城小程序为例
人工智能·小程序
说私域1 小时前
移动电商的崛起与革新:以开源AI智能名片2+1链动模式S2B2C商城小程序为例的深度剖析
人工智能·小程序
cxr8281 小时前
智能体(Agent)如何具备自我决策能力的机理与实现方法
人工智能·自然语言处理
wjm0410061 小时前
贪心算法概述
算法·贪心算法
我搞slam1 小时前
全覆盖路径规划算法之BCD源码实现(The Boustrophedon Cellular Decomposition)
c++·算法·图搜索算法
WBingJ1 小时前
机器学习基础-支持向量机SVM
人工智能·机器学习·支持向量机
Rossy Yan1 小时前
【C++数据结构——查找】二分查找(头歌实践教学平台习题)【合集】
开发语言·数据结构·c++·算法·查找·头歌实践教学平台·合集
QQ_7781329742 小时前
ChatGPT在数据分析与处理中的使用详解
机器学习·chatgpt
AI小欧同学2 小时前
【AIGC-ChatGPT进阶提示词指令】AI美食助手的设计与实现:Lisp风格系统提示词分析
人工智能·chatgpt·aigc
灵魂画师向阳2 小时前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·学习·计算机视觉·ai作画·stable diffusion·midjourney