模型评估——acc、P、R、F值、交叉验证、K折交叉验证

模型评估:对预测函数地预测精度的评估。
多重回归:涉及三个及其以上的变量的回归问题。
评估模型的方法:

交叉验证:将数据集分成测试集和训练集,可以采用3:7或者2:8的比例方式进行划分 ,使用测试集进行对模型的评估,对测试数据计算测试数据的误差的平方,再取其平均值,也就是以前提及的均方差MSE(Mean Square Error,误差越小,精度越高)


TP:True Positive,预测正确(T),实际为正,预测为正

FP:False Positive,预测错误(F),实际为负,预测为正

TN:True Negative,预测正确(T),实际为负,预测为负

FN:False Negative,预测错误(F),实际为正,预测为负
分类准确率公式:其值越高,则模型精度越高,意味着模型越好(在数据量平衡的情况下)


如何在不考虑数据量是否均衡的情况下,使得其能更好评估模型,这就涉及精确率公式:

该值越高,说明被错误分类的样本越少


同时还有另外一个评估模型的指标公式,其为召回率Recall:


三个公式总结图:


所以一般评估模型采用分类准确率acc、精确率P、召回率R来综合来评价一个模型。但是一般来说,精确率P和召回率R会一个高一个低,需要对其进行取舍。所以为了更为全面的评估一个模型的好坏,故引入F值,F值是能够综合评定模型性能的指标。F值的公式如下所示:

该F值的公式称为F1值更为准确,因为这是在β权重为1时的公式表达式,F1值为精确率和召回率的调和平均值。其更为普适的公式为Fβ公式


在计算P、R、F值的时,统计的对象可能是TP,也可以是TN。那么我们该如何选择呢?
当面对数据不平衡的情况,使用数据较少的数据集作为统计对象,来计算其对应的P、R、F值。即用数量少的。
K折交叉验证:

不单单可以将数据分成3:7或者2:8,这里有一个K折交叉验证,将全部的数据集划分为K份,将K-1份数据作为训练数据,剩下的一份作为测试数据,然后每次更好训练数据和测试数据,重复K次交叉验证。再最后计算K个精度的平均值,作为其最终的精度。

那么K折交叉验证的K值的确定怎么设定合适呢?

设定过大,会增加时间的耗费。所以只能尽可能凭借经验确定一个合适的K值。

相关推荐
martian6654 小时前
支持向量机(SVM)深度解析:从数学根基到工程实践
算法·机器学习·支持向量机
FF-Studio5 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
贾全5 小时前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人
GIS小天6 小时前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年7月4日第128弹
人工智能·算法·机器学习·彩票
我是小哪吒2.06 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
慕婉03076 小时前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习
蓝婷儿7 小时前
Python 机器学习核心入门与实战进阶 Day 2 - KNN(K-近邻算法)分类实战与调参
python·机器学习·近邻算法
IT古董9 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(3)决策树回归模型(Decision Tree Regression)
神经网络·机器学习·回归
烟锁池塘柳010 小时前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习
Blossom.11812 小时前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别