一，模型评估与模型选择
1.训练误差与测试误差
假如我们有100个数据。80条记录给训练集，10条记录给测试集，10条记录给验证集
先在训练集中训练模型，
再在验证集上测试看哪种模型更拟合
最后用测试集算出成绩
表示决策函数
模型拟合的好坏（对已知数据的预测效果）我们可以通过训练集测出训练误差来衡量
对未知数据预测效果好坏可以利用测试集来衡量
预测值和真实值不相等的个数占测试集样本总个数的比例
- 经过模型的预测值和真实值相等的占样本点的个数。
2.过拟合与模型选择
在多项式拟合问题中 ：
就很好的解释了过拟合问题，我们想要去拟合一个正弦函数
我们去选择正弦函数上的点去拟合
当图像是三次函数时，拟合效果是非常不错的，但是为了抓住图像中的每一个细节
（哪怕噪音也不放过，就容易出现过拟合问题）
- 我们使用的是经验风险最小化的策略
- 经验风险使用的损失函数是平方损失
要求出最小值就需要求导，这里的二分之一只是为了抵消平方
那么如何去看是否过拟合呢？
- 他在训练集上拟合效果特别好（每个点集都在图像上）
- 但是在测试集和验证集上特别差
就是过拟合了！！!
当M=9,训练误差极大，但测试误差极大
二，正则化与交叉验证
1.正则化
最小化结构风险中跟的就是正则项
目的：减少模型的复杂度，防止过拟合的
正则化项有两种形式：
- L1范数和L2范数
- w这里叫作参数
这里谈一个奥姆卡剃刀原理：
- 我们发现当模型复杂度大于等于3的时候，训练集都能很好的拟合，、
- 则选择最简单的模型
2.交叉验证
我们只有100个数据，一开始选择这80个数据作为训练集，剩下的是测试集和验证集
后来再随机选出80个，
选出来10种训练集进行模型训练。
选择不同的测试集去训练模型
数据非常缺乏的情况下：
此时的N为数据的容量
三，泛化能力
1.泛化误差
- 泛化误差R（f）
- 就是对损失函数值loss求出其数学期望
- 泛化误差反映了学习方法的泛化能力，即所学习到的模型的期望风险。
f-hat(X)为预测值
这里我们之前学的策略里的损失函数的期望值
我们下面给出的红豆绿豆的实例
下面这个是经验风险。
2.泛化误差上界
函数f是从假设空间F中抽取出来的
那么这个泛化误差R（f）（期望风险）是有上界的。
- d代表的是假设空间中函数的个数
- N表示训练集中样本的个数
- 德尔塔则是概率
regulation
（1）当N->无穷大，样本容量增大，那么泛化误差上界就是趋向于0的。
（2）d越大，假设空间越来越复杂，那么泛化误差上界也会增大。
公式推导：
首先我们直到有以下
hoeffding不等式成立：
SN为随机变量求和
即可得：
