训练误差和泛化误差
训练误差：模型在训练数据上的误差
泛化误差：模型在新数据上的误差
验证数据集：一个用来评估模型好坏的数据集
- 例如拿出50%的数据作为训练
测试数据集：只能用一次
K则交叉验证
在没有足够数据时使用
算法：
- 将训练数据分割为k块
- for i in range(0, k]
- 使用第i块作为验证数据集，其余作为训练数据集
- 报告k个验证集误差的平均
训练数据集：训练模型参数
验证数据集：选择模型超参数
非大数据集上通常使用K折交叉验证
过拟合和欠拟合
根据数据集的复杂度选择模型容量
本质是泛化误差和训练误差的平衡
VC维可以衡量训练误差和泛化误差的间隔，但在深度学习中很少使用
SVM能解决的问题少于神经网络，神经网络可以通过卷积得到多种特征