超简单白话文机器学习 - 模型检验与评估(含算法介绍,公式,源代码实现以及调包实现)

1. 模型检验

1.1 Holdout交叉验证

1.1.1 算法

在这种交叉验证技术中,整个数据集被随机划分为训练集和验证集。根据经验,整个数据集的近 70% 用作训练集,其余 30% 用作验证集。

优点:可以快速进行区分,仅仅通过一次区分即可使用。

局限性:

  1. 不适用于不平衡数据,例如有80%的正类样本,20%的负类样本,恰好将80%正类样本分为训练集,剩余为测试集,对模型的拟合造成误导。

  2. 不适用于小数据集,可能具有我们的模型可能会错过的重要特征,因为它没有对该数据进行训练

1.1.2 代码实现:

python 复制代码
from sklearn.model_selection import train_test_split
X = [[2,3,4],[1,2,3],[2,5,6],[1,2,3]]
y = [1,0,1,0]
X_train,x_test,Y_train,y_test = train_test_split(X,y)

1.2 LOOCV

1.2.1 算法

LOOCV方法也包含将数据集分为训练集和测试集这一步骤。但是不同的是,我们现在只用一个数据作为测试集,其他的数据都作为训练集,并将此步骤重复N次(N为数据集的数据数量)。

1.2.2 代码实现

python 复制代码
from sklearn.model_selection import LeavePOut,cross_val_score
from sklearn.ensemble import RandomForestClassifier
lpo = LeavePOut(p=1) #p代表验证集的个数
lpo.get_n_splits(X)
tree = RandomForestClassifier()
score = cross_val_score(tree,X,y,cv=lpo) #每一个样本集合的准确率
print(score.mean())

1.3 K-fold Cross Validation K折交叉验证

1.3.1 算法

在这种 K 折交叉验证技术中,整个数据集被划分为 K 个相等大小的部分。每个分区称为一个"折叠"。因此,因为我们有 K 个部分,所以我们称之为 K 折叠。一折用作验证集,其余 K-1 折用作训练集。

该技术重复 K 次,直到每个折叠用作验证集,其余折叠用作训练集。

模型的最终精度是通过取 k-models 验证数据的平均精度来计算的。

1.3.2 代码实现

python 复制代码
from sklearn.model_selection import KFold,cross_val_score
from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression()
kf = KFold(n_splits=2)
score= cross_val_score(logreg,X,y,cv=kf)
print(score.mean())

2. 模型评估

2.1 性能指标

准确率:表示预测正确的样本数占总样本数的比例:

精确率:表示预测为正的样本中,确实为正的样本数所占的比例:

召回率:所有确实为正的样本中预测也为正的占比:

F1分数:精确率和召回率的调和平均数,用于综合考虑二者的性能:

2.2 混淆矩阵

混淆矩阵是评判模型结果的指标,属于模型评估的一部分。此外,混淆矩阵多用于判断分类器(Classifier)的优劣,适用于分类型的数据模型。衡量正确预测以及错误预测的对应关系。

python 复制代码
from sklearn.metrics import confusion_matrix
from sklearn.metrics import ConfusionMatrixDisplay
y_predict = [1,0,1,0,0,1,1,1,0,0]
y_true = [1,0,1,1,1,1,1,1,0,1]
C1 = confusion_matrix(y_true,y_predict)
CM = ConfusionMatrixDisplay(C1)
CM.plot()

如图所示,横坐标代表预测标签,纵坐标为实际标签,每一个不同颜色的方块代表其对应关系,可以由混淆矩阵得出哪一类别分类效果好,哪一类别的分类效果不尽人意,从而针对化的去改善模型。

2.3 ROC & AUC曲线

2.3.1 概念

这是一个ROC曲线示例图,蓝色险段为ROC曲线,虚线为我们的基准线。其中 ROC 曲线距离基准线越远 ,则说明该模型的预测效果越好

ROC 曲线接近左上角:模型预测准确率很高

ROC 曲线略高于基准线:模型预测准确率一般

ROC 低于基准线:模型未达到最低标准,无法使用

我们深层次的去剖析这张图表,图的横坐标为FPR,代表在所有真实为负的样本中,模型错误预测为正的比例;纵坐标为TPR也就是我们的Recall(召回率)。ROC曲线不依赖于具体的阈值选择,可以全面评估模型在不同阈值下的表现。

AUC(Area Under the Curve)是ROC曲线下的面积,AUC值越接近于1,模型的性能越好,AUC若等于0.5,则表示模型没有分类能力,相当于随机猜测。AUC值为模型性能提供了一个综合指标,可以比较不同模型的优劣。

但他们的解释起来比较复杂,在某些应用中,可能不如其他指标,例如精准率等。

2.3.2 手写代码演示

python 复制代码
def roc(y_true,y_score,pos_label):
    #统计正样本和负样本的个数
    num_positive_examples = (y_true == pos_label).sum()
    num_negative_examples = len(y_true) - num_positive_examples
    tp,fp = 0,0
    
    tpr,fpr,thresholds=[],[],[]
    score = max(y_score)+1
    
    for i in np.flip(np.argsort(y_score)):
        if y_score[i] != score:
            fpr.append(fp/num_negative_examples) #对于上一轮的结果进行汇总
            tpr.append(tp/num_positive_examples)
            thresholds.append(score) #记录阈值
            score = y_score[i] #进入新一轮的计算
        if y_true[i] == pos_label: #新一轮意味都会增加一个预测为pos_label的样本,只需要关注他的真实标签即可
            tp += 1
        else:
            fp += 1
    fpr.append(fp / num_negative_examples)
    tpr.append(tp / num_positive_examples)
    thresholds.append(score)
    
    return fpr,tpr,thresholds
y_true = np.array([1,1,0,1,1,1])
y_score = np.array([.9,.8,.7,.6,.55,.54])

fpr,tpr,threshold = roc(y_true,y_score,pos_label=1)

import matplotlib.pyplot as plt
plt.plot(fpr,tpr)
plt.axis("square")
plt.xlabel("False")
plt.ylabel("True")
plt.show()

2.3.3 调包代码演示

python 复制代码
#库绘制ROC,AUC
from sklearn.metrics import roc_curve,auc
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
X,y = make_classification(n_samples=1000,n_classes=2,random_state=42)
X_train,X_test,y_train,y_test = train_test_split(X,y)
model = LogisticRegression()
model.fit(X_train,y_train)
y_scores = model.predict_proba(X_test)[:,1]
fpr,tpr,thresholds = roc_curve(y_test,y_scores)
roc_auc = auc(fpr,tpr)

plt.figure()
plt.xlim([0,1])
plt.ylim([0,1])
plt.plot(fpr,tpr,color='darkorange',lw=2)
plt.plot([0,1],[0,1],color='navy',linestyle='-')
plt
print(roc_auc)

3. 应用前景

这些指标通过定量评估分类模型性能,帮助我们在实际应用中做出更明智的决策。

  1. 制造业:

质量控制:评估自动化质量检测系统的性能,减少产品缺陷率,提高生产效率。

故障预测:精确预测设备故障,减少停机时间和维护成本。

  1. 网络安全:

入侵检测:评估入侵检测系统的性能,确保能够准确识别网络攻击和减少误报。

恶意软件检测:评估恶意软件检测模型的精确率和召回率,以确保能够有效识别和阻止恶意软件。

  1. 金融领域:

信用评分:高精准率和召回率可以帮助银行降低坏账率。

欺诈检测:高召回率对于捕捉尽可能多的欺诈行为非常重要,同时需要保持精确率以避免过多的误报。

etc.

4. 参考资料

详解机器学习中的7种交叉验证方法!

【机器学习】Cross-Validation(交叉验证)详解 - 知乎

混淆矩阵(Confusion Matrix)-CSDN博客

小白也能看懂的 ROC 曲线详解!

相关推荐
剑盾云安全专家5 分钟前
AI时代的PPT革命:智能生成PPT工具为何备受青睐?
人工智能·aigc
-Max-静-8 分钟前
Paddle Inference部署推理(十八)
人工智能·windows·深度学习·算法·paddle·推理 部署
qq_2147826110 分钟前
ChatGPT如何辅助academic writing?
人工智能·学习·chatgpt
eclipsercp11 分钟前
PyQt5:Python GUI开发的超级英雄
开发语言·python·qt
codists33 分钟前
《Django 5 By Example》阅读笔记:p339-p358
python·django
檀越剑指大厂37 分钟前
【Python系列】异步 Web 服务器
服务器·前端·python
qq_485668991 小时前
算法习题--蓝桥杯
算法·职场和发展·蓝桥杯
m0_676099581 小时前
数据结构--创建链表--Python
数据结构·python·链表
waves浪游1 小时前
类和对象(中)
c语言·开发语言·数据结构·c++·算法·链表
做人不要太理性1 小时前
【算法一周目】滑动窗口(2)
c++·算法·leetcode·哈希算法·散列表·滑动窗口