机器篇——决策树(六) 细说 评估指标的交叉验证

本小节,细说 评估指标的交叉验证。

三. 评估指标

  1. 交叉验证(cross validation)

(1). 概念

交叉验证(cross validation, cv) 主要用于模型训练或建模应用中,如分类预测、PCR、PLS 回归建模等。在给定的样本空间中,拿出大部分样本的模型进行预测,并求这小部分样本的预测误差或预测精度,同时记录它们的加和平均值。这个过程迭代 k

次,即 k

折交叉。其中,把每个样本的预测误差平凡加和,称为 PRESS(Predicted Error Sum Of Squares)。

(2). 目的

①. 用交叉验证的母的是为了得到可靠稳定的模型。在分类,建立 PC 或 PLS 模型时,一个很重要的因素是取多少个主成分的问题。用 cv 校验每个主成分下的 PRESS 值,选择 PRESS 值小的主成分数。或 PRESS 值不再变小时的主要分数。

②. 常用的精度测试方法主要是交叉验证,例如 10 折交叉验证(10-fold cross validation, 10-cv),将数据分成 10 份,轮流将其中 9 份做训练,1 份做验证,10 次的结果的均值作为对算法精度的估计,一般还需要进行多次 10-cv 求均值,例如:10 次 10-cv,以求更精确一点。

③. 交叉验证有时也称为交叉比对,如:10 折交叉比对。

(3). 常见的交叉验证方式

①. Holdout 验证(留出法验证)

a. 方法:

将原始数据随机分为两组,一组作为训练集,一组作为验证集(比如:80% 为训练集,20% 为验证集)。利用训练集训练分类器,然后利用验证集验证模型,记录最后的分类准确率为此 Holdout Method 下分类器的性能指标。

一般来说,Holdout 验证并非一种交叉验证,因为数据并没有交叉使用。随机从最初的样本中选出部分,形成交叉验证数据,而剩余的就当做训练数据。一般来说,少于原来样本 13

1

3

的数据被选做验证数据(如:20% 为验证数据)

b. 优点:

处理简单,只需要随机把原数据分为两组即可。

c. 缺点:

严格意义来说 Holdout Method 并不算是 cv,因为这种方法没有达到交叉的思想,由于是随机的将原始数据分组,所以最后验证集分类准确率的高低与原始数据的分组有很大关系,所以这种方法得到的结果其实并不具有说服性(主要原因是,训练集样本数太少,通常不足以代表母体样本的分布,导致 val 阶段辨识容易出现明显落差)。

②. k 折交叉验证 (k-fold cross validation, k-cv)

a. 方法

k 折交叉验证(k-cv),初始采样分割成 k 个子样本,一个单独的子样本被保留作为验证模型数据,其 k - 1 个样本用来训练。交叉验证重复 k 次,每个子样本验证一次,平均 k 次的结果或者使用其他结合方式,最终得到一个单一估测。这个方法的优势在于,同时重复运用随机产生的子样本进行训练和验证,每次的结果验证一次,10 折交叉验证(10-cv)是最常用的。特殊的,当 k = 2 时,为 2-cv。

b. 优点

k-cv 可以有效地避免过拟合以及以及欠拟合状态的发生,最后得到的结果也比较具有说服性。

c. 缺点

k 值选取上。

③. 留一验证(Leave One Out Validation, LOO-CV)

a. 方法

留一验证(LOO-CV),意指只使用原样本中的一项来做验证资料,而剩余的则留下来当做训练资料。这个步骤一直持续到每个样本都被当做一次验证资料。事实上,这等同于 k-cv 是一样的,其中 k 为原样本个数。在某些情况下是存在有效率的演算法。如使用 Kernel Regression 和 Tikhonov Regularization。

b. 优点

(a). 每一回合中几乎所有的样本皆用于训练模型,因此最接近原始样本的分布,这样评估所得的结果比较可靠。

(b). 实验过程中没有随机因素会影响实验数据,确保实验过程是可以被复制的。

c. 缺点

计算成本高,因为需要建立的模型数量与原始数据样本数量相同,当原始数据样本数相当多时,LOO-CV 在实际操作上便有困难,几乎就是实现不了,除非每次训练分类器得到模型的速度很快,或是可以用并行化计算减少计算所需要的时间。

(4). 深入

①. 使用交叉验证方法的目的主要有 3 个:

a. 从有限的学习数据中获取尽可能多的有效信息

b. 交叉验证从多个方向开始学习样本,可有效的避免陷入局部最小值

c. 可以在一定程度上避免过拟合问题

②. 采用交叉验证方法时需要将学习数据样本划分为两部分:训练数据样本 和 验证数据样本。并且为了得到更好的学习效果,无论训练样本还是验证样本,都要尽可能参与学习。一般选取 10 折交叉验证即可达到较好的学习效果。

相关推荐
再不会python就不礼貌了2 分钟前
Ollama 0.4 发布!支持 Llama 3.2 Vision,实现多模态 RAG
人工智能·学习·机器学习·ai·开源·产品经理·llama
DK2215120 分钟前
机器学习系列-----主成分分析(PCA)
人工智能·算法·机器学习
oliveira-time26 分钟前
爬虫学习8
开发语言·javascript·爬虫·python·算法
正义的彬彬侠44 分钟前
XGBoost算法Python代码实现
python·决策树·机器学习·numpy·集成学习·boosting·xgboost
点云侠1 小时前
二维椭圆拟合算法及推导过程
开发语言·c++·算法·计算机视觉·matlab
一直学习永不止步1 小时前
LeetCode题练习与总结:迷你语法分析器--385
java·数据结构·算法·leetcode·字符串··深度优先搜索
Dragonlongbo1 小时前
leetcode01 --- 环形链表判定
算法·leetcode·职场和发展
-cc- Lynn1 小时前
链表类算法【leetcode】
算法·leetcode·链表
顾京2 小时前
基于扩散模型的表单插补
人工智能·深度学习·算法
小冉在学习2 小时前
day55 图论章节刷题Part07([53.寻宝]prim算法、kruskal算法)
java·算法·图论