1. 模型检验
1.1 Holdout交叉验证
1.1.1 算法
在这种交叉验证技术中,整个数据集被随机划分为训练集和验证集。根据经验,整个数据集的近 70% 用作训练集,其余 30% 用作验证集。
优点:可以快速进行区分,仅仅通过一次区分即可使用。
局限性:
-
不适用于不平衡数据,例如有80%的正类样本,20%的负类样本,恰好将80%正类样本分为训练集,剩余为测试集,对模型的拟合造成误导。
-
不适用于小数据集,可能具有我们的模型可能会错过的重要特征,因为它没有对该数据进行训练
1.1.2 代码实现:
python
from sklearn.model_selection import train_test_split
X = [[2,3,4],[1,2,3],[2,5,6],[1,2,3]]
y = [1,0,1,0]
X_train,x_test,Y_train,y_test = train_test_split(X,y)
1.2 LOOCV
1.2.1 算法
LOOCV方法也包含将数据集分为训练集和测试集这一步骤。但是不同的是,我们现在只用一个数据作为测试集,其他的数据都作为训练集,并将此步骤重复N次(N为数据集的数据数量)。
1.2.2 代码实现
python
from sklearn.model_selection import LeavePOut,cross_val_score
from sklearn.ensemble import RandomForestClassifier
lpo = LeavePOut(p=1) #p代表验证集的个数
lpo.get_n_splits(X)
tree = RandomForestClassifier()
score = cross_val_score(tree,X,y,cv=lpo) #每一个样本集合的准确率
print(score.mean())
1.3 K-fold Cross Validation K折交叉验证
1.3.1 算法
在这种 K 折交叉验证技术中,整个数据集被划分为 K 个相等大小的部分。每个分区称为一个"折叠"。因此,因为我们有 K 个部分,所以我们称之为 K 折叠。一折用作验证集,其余 K-1 折用作训练集。
该技术重复 K 次,直到每个折叠用作验证集,其余折叠用作训练集。
模型的最终精度是通过取 k-models 验证数据的平均精度来计算的。
1.3.2 代码实现
python
from sklearn.model_selection import KFold,cross_val_score
from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression()
kf = KFold(n_splits=2)
score= cross_val_score(logreg,X,y,cv=kf)
print(score.mean())
2. 模型评估
2.1 性能指标
准确率:表示预测正确的样本数占总样本数的比例:
精确率:表示预测为正的样本中,确实为正的样本数所占的比例:
召回率:所有确实为正的样本中预测也为正的占比:
F1分数:精确率和召回率的调和平均数,用于综合考虑二者的性能:
2.2 混淆矩阵
混淆矩阵是评判模型结果的指标,属于模型评估的一部分。此外,混淆矩阵多用于判断分类器(Classifier)的优劣,适用于分类型的数据模型。衡量正确预测以及错误预测的对应关系。
python
from sklearn.metrics import confusion_matrix
from sklearn.metrics import ConfusionMatrixDisplay
y_predict = [1,0,1,0,0,1,1,1,0,0]
y_true = [1,0,1,1,1,1,1,1,0,1]
C1 = confusion_matrix(y_true,y_predict)
CM = ConfusionMatrixDisplay(C1)
CM.plot()
如图所示,横坐标代表预测标签,纵坐标为实际标签,每一个不同颜色的方块代表其对应关系,可以由混淆矩阵得出哪一类别分类效果好,哪一类别的分类效果不尽人意,从而针对化的去改善模型。
2.3 ROC & AUC曲线
2.3.1 概念
这是一个ROC曲线示例图,蓝色险段为ROC曲线,虚线为我们的基准线。其中 ROC 曲线距离基准线越远 ,则说明该模型的预测效果越好。
ROC 曲线接近左上角:模型预测准确率很高
ROC 曲线略高于基准线:模型预测准确率一般
ROC 低于基准线:模型未达到最低标准,无法使用
我们深层次的去剖析这张图表,图的横坐标为FPR,代表在所有真实为负的样本中,模型错误预测为正的比例;纵坐标为TPR也就是我们的Recall(召回率)。ROC曲线不依赖于具体的阈值选择,可以全面评估模型在不同阈值下的表现。
AUC(Area Under the Curve)是ROC曲线下的面积,AUC值越接近于1,模型的性能越好,AUC若等于0.5,则表示模型没有分类能力,相当于随机猜测。AUC值为模型性能提供了一个综合指标,可以比较不同模型的优劣。
但他们的解释起来比较复杂,在某些应用中,可能不如其他指标,例如精准率等。
2.3.2 手写代码演示
python
def roc(y_true,y_score,pos_label):
#统计正样本和负样本的个数
num_positive_examples = (y_true == pos_label).sum()
num_negative_examples = len(y_true) - num_positive_examples
tp,fp = 0,0
tpr,fpr,thresholds=[],[],[]
score = max(y_score)+1
for i in np.flip(np.argsort(y_score)):
if y_score[i] != score:
fpr.append(fp/num_negative_examples) #对于上一轮的结果进行汇总
tpr.append(tp/num_positive_examples)
thresholds.append(score) #记录阈值
score = y_score[i] #进入新一轮的计算
if y_true[i] == pos_label: #新一轮意味都会增加一个预测为pos_label的样本,只需要关注他的真实标签即可
tp += 1
else:
fp += 1
fpr.append(fp / num_negative_examples)
tpr.append(tp / num_positive_examples)
thresholds.append(score)
return fpr,tpr,thresholds
y_true = np.array([1,1,0,1,1,1])
y_score = np.array([.9,.8,.7,.6,.55,.54])
fpr,tpr,threshold = roc(y_true,y_score,pos_label=1)
import matplotlib.pyplot as plt
plt.plot(fpr,tpr)
plt.axis("square")
plt.xlabel("False")
plt.ylabel("True")
plt.show()
2.3.3 调包代码演示
python
#库绘制ROC,AUC
from sklearn.metrics import roc_curve,auc
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
X,y = make_classification(n_samples=1000,n_classes=2,random_state=42)
X_train,X_test,y_train,y_test = train_test_split(X,y)
model = LogisticRegression()
model.fit(X_train,y_train)
y_scores = model.predict_proba(X_test)[:,1]
fpr,tpr,thresholds = roc_curve(y_test,y_scores)
roc_auc = auc(fpr,tpr)
plt.figure()
plt.xlim([0,1])
plt.ylim([0,1])
plt.plot(fpr,tpr,color='darkorange',lw=2)
plt.plot([0,1],[0,1],color='navy',linestyle='-')
plt
print(roc_auc)
3. 应用前景
这些指标通过定量评估分类模型性能,帮助我们在实际应用中做出更明智的决策。
- 制造业:
质量控制:评估自动化质量检测系统的性能,减少产品缺陷率,提高生产效率。
故障预测:精确预测设备故障,减少停机时间和维护成本。
- 网络安全:
入侵检测:评估入侵检测系统的性能,确保能够准确识别网络攻击和减少误报。
恶意软件检测:评估恶意软件检测模型的精确率和召回率,以确保能够有效识别和阻止恶意软件。
- 金融领域:
信用评分:高精准率和召回率可以帮助银行降低坏账率。
欺诈检测:高召回率对于捕捉尽可能多的欺诈行为非常重要,同时需要保持精确率以避免过多的误报。
etc.