数据挖掘------模型的评价
模型的评价
混淆矩阵
准确率= a + d a + b + c + d \frac{a+d}{a+b+c+d} a+b+c+da+d= T P + T N T P + T N + F P + F N \frac{TP+TN}{TP+TN+FP+FN} TP+TN+FP+FNTP+TN
其他度量 ：
查全率VS查准率
- 地震的预测:对于地震的预测，我们希望的是recall非常高，也就是说每次地震我们都希望预测出来。这个时候我们可以牺牲precision。情愿发出1000次警报，把10次地震都预测正确了，也不要预测100次，对了8次，漏了2次。
- 嫌疑人定罪:基于不错怪一个好人的原则，对于嫌疑人的定罪我们希望是非常准确的（precision高），及时有时候放过了一些罪犯（recall低），但也是值得的。
F1 score : F 1 = 2 r p r + p F_1=\frac{2rp}{r+p} F1=r+p2rp
r表示召回率（recall），p表示精确率（precision）
ROC曲线
接收者操作特征曲线（ReceiverOperating Characteristic Curve，或者叫ROC曲线）是一种坐标图式的分析工具，用于
- 选择最佳的分类模型、舍弃次佳的模型。
- 在同一模型中设定最佳阈值。
给定一个二元分类模型和它的阈值，就能从所有样本的(阳性／阴性)真实值和预测值计算出一个 (X=FPR,Y=TPR)坐标点。
(FPR,TPR):
- (0,0):任何分类都是阴性
- (1,1):任何分类都是阳性
- (0,1):理想分类
对角线:
- 随机猜测结果
- 对角线以下：预测结果与真实结果相反
ROC曲线下方面积：AUC
ideal：Area=1
Random guess：Area=0.5
如何构建ROC曲线
首先利用分类器计算每个数据记录的后验概率P(+|A)
将这些数据记录对应的P(+|A)从高到低排列：
- 由低到高, 对于每个P(+|A)值（threshold，阈值），把对应的记录以及那些值高于或等于阈值指派为阳性类positive, 把那些值低于阈值指派为阴性类negative
- 统计 TP,FP,TN,FN
- 计算TPR=TP/(TP+FN)和FPR=FP/(FP+TN)
绘出诸点(FPR,TPR)并连接它们
模型过分拟合和拟合不足
分类模型的误差大致分为两种：
- 训练误差：是在训练记录上误分类样本比例
- 泛化误差：是模型在未知记录上的期望误差
一个好的分类模型不仅要能够很好的拟合训练数据，而且对未知样本也要能准确分类。
换句话说，一个好的分类模型必须具有低训练误差和低泛化误差。
当训练数据拟合太好的模型（较低训练误差 ），其泛化误差 可能比具有较高训练误差 的模型高，这种情况成为模型过分拟合
根据少量训练记录做出分类决策的模型也容易受过分拟合的影响。
由于训练数据缺乏具有代表性的样本，在没有多少训练记录的情况下，学习算法仍然细化模型就会产生过分拟合。
减少泛化误差
过分拟合的主要原因一直是个争辩的话题，但数据挖掘研究界普遍认为模型的复杂度对模型的过分拟合有影响。
如何确定正确的模型复杂度？理想的复杂度是能产生最低泛化误差的模型的复杂度。
奥卡姆剃刀定律：在解释一个现象或问题时，应当尽量简洁地使用最少的假设。
根据奥卡姆剃刀原则
- 引入惩罚项，使较简单的模型比复杂的模型更可取
- 引入正则项
- 神经网络中，引入dropout机制
使用验证集
该方法中，不是用训练集估计泛化误差，而是把原始的训练数据集分为两个较小的子集，一个子集用于训练，而另一个称为验证集，用于估计泛化误差。
该方法为评估模型在未知样本上的性能提供了较好办法。
