2.2 评估方法 机器学习

我们若有一个包含m个样例的数据集,若我们既需要训练,也需要测试,我们该如何处理呢?下面是几种方法:

2.2.1 留出法

"留出法"直接将数据集D划分为两个互斥的集合,其中一个作为训练集S,另一个作为测试集T。在S上训练出模型后,用T来评估其测试误差,作为对泛化误差的估计。

需要注意的是,训练/测试集的划分要尽可能保持数据分布的一致性,避免因数据划分过程引入额外的偏差而对最终结果产生影响。比如在分类任务中至少要保持样本的类别比例相似。如果从采样角度来看待数据集的划分过程,则保留类别比例的采样方式通常称为**"分层采样"**。若S、T中样本类别比例相差很大,则误差估计将由于训练\测试数据分布的差异而产生偏差。

另一个需要注意的是,即使我们划分的很合理,由于每次数据的偶然性,往往不同的划分得到的结果不同,所以单次使用留出法得到的结果往往不可靠,在使用留出法时,一般要采用若干次随机划分、重复进行试验评估后取平均值作为留出法的评估结果。例如进行100次随机划分,每次产生一个训练\测试集用于实验评估,100次后就得到100次结果,而留出法是返回这100次结果的平均。

此外,我们希望的是用D训练出来的模型的性能,但是由于我们的留出法会划分的原因,倘若我们的S过大,我们的T就比较小,导致模型评估不准确,但是倘若以S过小,我们的训练与原本D的差别就更大了。对于这样的问题,我们常见的做法是大约将2/3~4/5的样本用于训练,剩余样本用来测试。

2.2.2 交叉验证法

"交叉验证法"先将数据集D分为k个大小相似的互斥子集。即,每个子集都尽可能保持数据分布的一致性,即从D中分层采样中得到,然后每次用k-1个子集作为训练集,余下那个作为测试集,从而得到k次测试,最终返回这k个测试结果的均值。显然,交叉验证法评估结果的稳定性和保真性很大程度上取决于K的取值,为强调这一点,我们把交叉验证法称为**"K折交叉验证"**,K最常用的取值是10,此时称为10折验证。

与留出法相似,将数据集D划分为k个子集同样存在多种划分方式,为减小因样本划分不同而引起的差别,k折交叉验证通常要随机使用不同的划分方法重复p次,最终取这p次k折验证结果的均值。

假设数据集D中包含M个样本,若令K=M,则得到了交叉验证法的一个特例:"留一法"。显然,留一法不受随机样本划分方式的影响,,因为M个样本只有唯一的方法划分,而且留一法所用的训练集只比原来少了1个,因此,留一法的评估结果往往被认为比较准确,但是这并不代表他没有缺点,当数据过大时,训练m个模型的开销可能是计算机无法承受的。另外,留一法的评估结果也并非一定永远比其他方法准确,"没有免费的午餐"定理对评估方法同样适用。

2.2.3 自助法

有没有什么方法能减少训练样本规模不同造成的影响,同时还能比较高效的进行试验评估呢?

自助法:给定包含M个样本的数据集D,我们对它采样产生数据集D':每次随机从D中挑选一个样本将其拷贝进入D',结束在将其放回D中,这个过程重复M次后,我们就得到了包含M个样本的数据集D'。显然,我们的D'中可能有数多次出现,也可能D中有数一直没出现在D'中。我们假设在m次采样中没有被采样到的概率是,取极限得:

有百分之36.8的样本没出现在D'中。我们将D'用作训练集,D\D'用作测试集,这样我们依然有将近三分之一的样本没出现在训练集中的用于测试,这样的测试结果,也称为**"包外估计"**。

自助法在数据集较小,难以有效划分训练\测试集时有用,此外,自助法能从初始数据集中产生多个不同的训练集,这对集成学习等方法大有好处;但是由于其改变了原始的数据分布,会引出估计误差,因此在数据量足的情况下我们不常用此方法

2.2.4 调参与最终模型

大多数算法都有些参数需要设定,参数配置不同,学得模型的性能往往有差别。因此,在进行模型评估和选择时,除了要对适用学习算法进行选择,还需要对算法参数进行设定,这就是通常所说的**"参数调节"** 或简称**"调参"**。

相关推荐
deephub23 分钟前
优化注意力层提升 Transformer 模型效率:通过改进注意力机制降低机器学习成本
人工智能·深度学习·transformer·大语言模型·注意力机制
搏博35 分钟前
神经网络问题之二:梯度爆炸(Gradient Explosion)
人工智能·深度学习·神经网络
KGback41 分钟前
【论文解析】HAQ: Hardware-Aware Automated Quantization With Mixed Precision
人工智能
电子手信1 小时前
知识中台在多语言客户中的应用
大数据·人工智能·自然语言处理·数据挖掘·知识图谱
不高明的骗子1 小时前
【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境
人工智能·pytorch·深度学习·cuda
Chef_Chen1 小时前
从0开始学习机器学习--Day33--机器学习阶段总结
人工智能·学习·机器学习
搏博1 小时前
神经网络问题之:梯度不稳定
人工智能·深度学习·神经网络
databook1 小时前
『玩转Streamlit』--布局与容器组件
python·机器学习·数据分析
GL_Rain1 小时前
【OpenCV】Could NOT find TIFF (missing: TIFF_LIBRARY TIFF_INCLUDE_DIR)
人工智能·opencv·计算机视觉
shansjqun1 小时前
教学内容全覆盖:航拍杂草检测与分类
人工智能·分类·数据挖掘