机器篇——决策树(六) 细说 评估指标的交叉验证

本小节,细说 评估指标的交叉验证。

三. 评估指标

  1. 交叉验证(cross validation)

(1). 概念

交叉验证(cross validation, cv) 主要用于模型训练或建模应用中,如分类预测、PCR、PLS 回归建模等。在给定的样本空间中,拿出大部分样本的模型进行预测,并求这小部分样本的预测误差或预测精度,同时记录它们的加和平均值。这个过程迭代 k

次,即 k

折交叉。其中,把每个样本的预测误差平凡加和,称为 PRESS(Predicted Error Sum Of Squares)。

(2). 目的

①. 用交叉验证的母的是为了得到可靠稳定的模型。在分类,建立 PC 或 PLS 模型时,一个很重要的因素是取多少个主成分的问题。用 cv 校验每个主成分下的 PRESS 值,选择 PRESS 值小的主成分数。或 PRESS 值不再变小时的主要分数。

②. 常用的精度测试方法主要是交叉验证,例如 10 折交叉验证(10-fold cross validation, 10-cv),将数据分成 10 份,轮流将其中 9 份做训练,1 份做验证,10 次的结果的均值作为对算法精度的估计,一般还需要进行多次 10-cv 求均值,例如:10 次 10-cv,以求更精确一点。

③. 交叉验证有时也称为交叉比对,如:10 折交叉比对。

(3). 常见的交叉验证方式

①. Holdout 验证(留出法验证)

a. 方法:

将原始数据随机分为两组,一组作为训练集,一组作为验证集(比如:80% 为训练集,20% 为验证集)。利用训练集训练分类器,然后利用验证集验证模型,记录最后的分类准确率为此 Holdout Method 下分类器的性能指标。

一般来说,Holdout 验证并非一种交叉验证,因为数据并没有交叉使用。随机从最初的样本中选出部分,形成交叉验证数据,而剩余的就当做训练数据。一般来说,少于原来样本 13

1

3

的数据被选做验证数据(如:20% 为验证数据)

b. 优点:

处理简单,只需要随机把原数据分为两组即可。

c. 缺点:

严格意义来说 Holdout Method 并不算是 cv,因为这种方法没有达到交叉的思想,由于是随机的将原始数据分组,所以最后验证集分类准确率的高低与原始数据的分组有很大关系,所以这种方法得到的结果其实并不具有说服性(主要原因是,训练集样本数太少,通常不足以代表母体样本的分布,导致 val 阶段辨识容易出现明显落差)。

②. k 折交叉验证 (k-fold cross validation, k-cv)

a. 方法

k 折交叉验证(k-cv),初始采样分割成 k 个子样本,一个单独的子样本被保留作为验证模型数据,其 k - 1 个样本用来训练。交叉验证重复 k 次,每个子样本验证一次,平均 k 次的结果或者使用其他结合方式,最终得到一个单一估测。这个方法的优势在于,同时重复运用随机产生的子样本进行训练和验证,每次的结果验证一次,10 折交叉验证(10-cv)是最常用的。特殊的,当 k = 2 时,为 2-cv。

b. 优点

k-cv 可以有效地避免过拟合以及以及欠拟合状态的发生,最后得到的结果也比较具有说服性。

c. 缺点

k 值选取上。

③. 留一验证(Leave One Out Validation, LOO-CV)

a. 方法

留一验证(LOO-CV),意指只使用原样本中的一项来做验证资料,而剩余的则留下来当做训练资料。这个步骤一直持续到每个样本都被当做一次验证资料。事实上,这等同于 k-cv 是一样的,其中 k 为原样本个数。在某些情况下是存在有效率的演算法。如使用 Kernel Regression 和 Tikhonov Regularization。

b. 优点

(a). 每一回合中几乎所有的样本皆用于训练模型,因此最接近原始样本的分布,这样评估所得的结果比较可靠。

(b). 实验过程中没有随机因素会影响实验数据,确保实验过程是可以被复制的。

c. 缺点

计算成本高,因为需要建立的模型数量与原始数据样本数量相同,当原始数据样本数相当多时,LOO-CV 在实际操作上便有困难,几乎就是实现不了,除非每次训练分类器得到模型的速度很快,或是可以用并行化计算减少计算所需要的时间。

(4). 深入

①. 使用交叉验证方法的目的主要有 3 个:

a. 从有限的学习数据中获取尽可能多的有效信息

b. 交叉验证从多个方向开始学习样本,可有效的避免陷入局部最小值

c. 可以在一定程度上避免过拟合问题

②. 采用交叉验证方法时需要将学习数据样本划分为两部分:训练数据样本 和 验证数据样本。并且为了得到更好的学习效果,无论训练样本还是验证样本,都要尽可能参与学习。一般选取 10 折交叉验证即可达到较好的学习效果。

相关推荐
oliveira-time9 分钟前
golang学习2
算法
知来者逆31 分钟前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理
老艾的AI世界1 小时前
新一代AI换脸更自然,DeepLiveCam下载介绍(可直播)
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai换脸·视频换脸·直播换脸·图片换脸
南宫生1 小时前
贪心算法习题其四【力扣】【算法学习day.21】
学习·算法·leetcode·链表·贪心算法
懒惰才能让科技进步2 小时前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
Ni-Guvara2 小时前
函数对象笔记
c++·算法
Chef_Chen2 小时前
从0开始学习机器学习--Day14--如何优化神经网络的代价函数
神经网络·学习·机器学习
泉崎2 小时前
11.7比赛总结
数据结构·算法
你好helloworld2 小时前
滑动窗口最大值
数据结构·算法·leetcode
AI街潜水的八角3 小时前
基于C++的决策树C4.5机器学习算法(不调包)
c++·算法·决策树·机器学习