验证泛化误差
- 在一个数据集上估计误差，数据集只能使用一次
- 验证数据集 ：可以被使用多次
基本是训练数据集中的一部分
当使用"test"时，大多数时候指的是验证数据集
生成验证数据集方法
1、数据随机分入训练集或验证集
总是随机选n%的数据作为验证集
n=50，40，30，20，10
当分离非独立同分布的数据时要额外注意
- 时序性数据：房价、股票价格等
验证集应该在训练集之后 - 属于同一组的样例：相同人的照片
在组之间分 - 不平衡的数据
对小的类采样率要高
2、K折交叉验证 - 适用于数据不充足的数据
- 算法：
将数据集分成K份
对i=1，2，...，K
使用第i份数据作为验证集，其他作为训练集 - 一般K=5或10
常见错误
- 90%以上极好的结果是由于bug存在
- 验证集中有训练集的样本
原始数据中有重复的数据
在数据融合时常发生：将从搜索引擎中找到的图片用于验证模型 - 信息泄露
经常发生于非独立同分布的数据：用未来预测过去