机器学习之模型评估——混淆矩阵,交叉验证与数据标准化

目录

混淆矩阵

交叉验证

数据标准化

0-1标准化

[z 标准化](#z 标准化)


混淆矩阵

混淆矩阵(Confusion Matrix)是一种用于评估分类模型性能的工具。 它是一个二维表格,其中行表示实际的类别,列表示模型预测的类别。 假设我们有一个二分类问题(类别为正例和反例),混淆矩阵可能如下所示:

真实值=1 真实值=0
预测值=1 真正例(TP) 假反例(FN)
预测值=0 假正例(FP) 真反例(TN)

在多分类问题中,混淆矩阵会相应地扩展为一个多维表格。 通过混淆矩阵,可以计算出一些重要的评估指标,如准确率(Accuracy)、精确率(Precision)、召回率(Recall)和 F1 值等。

Accuracy (准确率):(TP + TN) / (TP + TN + FP + FN)

Precision (精确率)(针对某一类):TP / (TP + FP)

Recall (召回率):TP / (TP + FN)

F1 值:2 * (Precision * Recall) / (Precision + Recall) 混淆矩阵能够直观地展示模型在各个类别上的分类情况,帮助我们发现模型可能存在的偏差或错误模式,从而进一步优化模型。

举个例子,根据下面的预测结果列出混淆矩阵,并计算出准确率、精确率、召回率和 F1 值

Accuracy (准确率):3/5

Precision (精确率)(针对某一类):5/9

Recall (召回率):5/9

F1 值:5/9

交叉验证

交叉验证(Cross Validation)是一种用于评估机器学习模型性能和选择合适模型参数的技术。目的是更有效地利用有限的数据,得到对模型性能更可靠和稳健的估计。

其基本思想是将原始数据划分为多个子集,然后在不同的子集组合上进行训练和验证,以全面评估模型在不同数据分布下的表现。

K 折交叉验证(K-Fold Cross Validation)是交叉验证的常见形式之一。在 K 折交叉验证中,将数据集随机地分成 K 个大小大致相等的子集(称为 "折")。然后,进行 K 次训练和验证:在每次迭代中,选择其中一个子集作为验证集,其余的 K - 1 个子集作为训练集。这样,每个子集都有机会作为验证集,最终得到 K 个模型性能的评估结果。

例如,如果 K = 5,那么数据被分为 5 份。

第一次,第 1 份作为验证集,2 - 5 份作为训练集;

第二次,第 2 份作为验证集,1、3 - 5 份作为训练集,以此类推。

最后,将这 K 次评估结果的平均值作为模型性能的估计。

K 折交叉验证的优点包括:

  1. 更充分地利用数据,减少了由于数据划分导致的偏差。

  2. 能够对模型的稳定性和泛化能力进行更可靠的评估。

通过 K 折交叉验证,可以更好地选择模型参数,避免过拟合或欠拟合,从而提高模型在新数据上的表现。

数据标准化

0-1标准化

0-1标准化也叫离差标准化,是对原始数据的线性变换,使结果映射到[0,1]区间。

z 标准化

z标准化这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'

相关推荐
聚客AI1 分钟前
PyTorch玩转CNN:卷积操作可视化+五大经典网络复现+分类项目
人工智能·pytorch·神经网络
程序员岳焱4 分钟前
深度剖析:Spring AI 与 LangChain4j,谁才是 Java 程序员的 AI 开发利器?
java·人工智能·后端
Q同学5 分钟前
TORL:工具集成强化学习,让大语言模型学会用代码解题
深度学习·神经网络·llm
柠檬味拥抱5 分钟前
AI智能体在金融决策系统中的自主学习与行为建模方法探讨
人工智能
禺垣6 分钟前
图神经网络(GNN)模型的基本原理
深度学习
智驱力人工智能16 分钟前
智慧零售管理中的客流统计与属性分析
人工智能·算法·边缘计算·零售·智慧零售·聚众识别·人员计数
workflower34 分钟前
以光量子为例,详解量子获取方式
数据仓库·人工智能·软件工程·需求分析·量子计算·软件需求
壹氿38 分钟前
Supersonic 新一代AI数据分析平台
人工智能·数据挖掘·数据分析
柠石榴41 分钟前
【论文阅读笔记】《A survey on deep learning approaches for text-to-SQL》
论文阅读·笔记·深度学习·nlp·text-to-sql
张较瘦_1 小时前
[论文阅读] 人工智能 | 搜索增强LLMs的用户偏好与性能分析
论文阅读·人工智能