本文以作者阅读《Dive into Deep Learning》为线索，融合串联了自身理解感悟、原始论文、优秀文章等。如有无意侵权，请联系本人删除。
让我们用偏差 - 方差分解公式引入这个话题
\[\mathbf{E}(f;D)=bias^2 (x)+var(x)+\epsilon^2\]
其中，
\[\begin{split} 学习能力：&bias^2(x) =(\overline f(x)-y)^2 \\ 数据充分性：&var(x)=E_D[(f(x;D)-\overline f(x))^2] \\ 学习难度：&\epsilon ^2=E_D[(y_D-y)^2] \end{split} \]
- 若线性拟合，只能单独看一个特征，然后遍历以拟合，即大偏差小方差，泛化误差大，欠拟合。
- 若复杂度过高的神经网络（如未正则化），对训练数据的微小噪声波动极敏感，小偏差大方差，泛化误差大，过拟合。
- 若复杂度适中的神经网络，中等偏差中等方差，泛化误差小，最佳了。
得出结论：偏差是模型没学会，方差是模型学太杂
影响偏差与方差的三大因素
1. 学习算法能力（模型复杂度）
如果模型欠拟合（偏差大），就换更复杂的模型；如果过拟合（方差大），就换更简单的模型（或对复杂模型做正则化）。
2. 训练数据量
对偏差无影响，对方差影响大
如果模型过拟合（方差大），优先增加训练数据。
3. 学习任务本身的难度（任务复杂度）
如果任务简单但方差大，就控制模型复杂度或增加数据；如果任务复杂导致偏差大，就提升模型复杂度
如何判断模型是 "欠拟合（高偏差）" 还是 "过拟合（高方差）
- 欠拟合（高偏差）：训练误差大，测试误差也大（模型没学会核心规律，对训练和测试数据都判断不准）。应该换更复杂的模型、增加特征维数、增加
epoch_num大小。 - 过拟合（高方差）：训练误差小，测试误差大（模型过于重视训练数据的噪声，对测试数据判断不准）。应该增加训练数据、正则化（如使用L1正则化、L2正则化即权重衰减、归一化、Dropout等）、剪枝降复杂度、降低特征维度。
先说权重衰减(\(L_2\)正则化)：
- 背景 ：阶数过低（欠拟合）或阶数过高（过拟合，并且导致模型复杂度显著提升）都不行
- \(Solution\)：\(L_2\) 正则化 \((\space Weight\space Decay\space)\)
- 就是惩罚增长过大的权重向量，通过函数与零的距离来衡量函数的复杂度，因为函数\(f(\mathbf{x})=0\) 永远是最简单的
- 为保证权重向量比较小，将其范数 \(\| \mathbf{w} \|^2\) 作为惩罚项加入 \(\mathbf{L}\) 中，将训练目标从 最小化训练标签上的预测损失 变为 最小化预测损失和惩罚项之和 。我们就可以得到：
首先原有损失为：
\[L(\mathbf{w}, b) = \frac{1}{n}\sum_{i=1}^n \frac{1}{2}\left(\mathbf{w}^\top \mathbf{x}^{(i)} + b - y^{(i)}\right)^2. \]
引入超参数 \(\lambda\) 权衡 \(\| \mathbf{w} \|^2\)。即
\[L_{new}(\mathbf{w}, b) =L(\mathbf{w}, b) + \frac{\lambda}{2} \|\mathbf{w}\|^2, \]
这里取 \(\frac{\lambda}{2}\) 是为了计算导数时的美观简单。
再说Bishop
我们从扰动的稳健性说起
经典泛化理论认为，为了缩小训练和测试性能之间的差距，应该以简单的模型为目标。简单性的另一个角度是平滑性，即函数不应该对其输入的微小变化敏感。即如果我们想样本添加一些随机噪声应该是对模型基本无影响。
在深层网络中注入噪声，会强制网络学习更加稳定、鲁棒的输入- 输出关系，使得微小的输入变化不会导致输出的剧烈跳变，从而增强映射的平滑性。
而 在输入数据中添加噪声 就等价于 Tikhonov正则化 。
Tikhonov正则化 实际上就是 L2正则化 或 权重衰减
但是 Tikhonov正则化 存在一个问题：只是在输入层添加噪声。
然而对于一个多层的深层网络，如果只在输入层添加噪声，深层网络可能会忽略这些噪声，从而仍然过拟合。
而如果在每一层都添加噪声，即 在前向传播过程中，计算每一内部层的同时注入噪声 ，那么整个网络都被正则化，迫使每一层都要对噪声具有鲁棒性，这才是我们想要的。
如何注入噪声呢？我们将高斯噪声添加到线性模型。每次迭代，我们对\(\mathbf{x}\) ：
\[\begin{split} 取分布\space\epsilon &\sim \mathcal{N}(0,\sigma^2) \\ 使\space \mathbf{x}' &= \mathbf{x} + \epsilon\\ 预期\space E[\mathbf{x}'] &= \mathbf{x} \end{split} \]
这就是Bishop方法。
现在可以说说Dropout 了
对于每个中间激活值，
\[\begin{split}\begin{aligned} h' = \begin{cases} 0 & \text{ 概率为 } p \\ \frac{h}{1-p} & \text{ 其他情况} \end{cases} \end{aligned}\end{split} \]
那么 \(h\) 是什么？
\[x\xrightarrow{W_1,\space b_1}z_1\xrightarrow{\sigma}h_1\xrightarrow{Dropout}h'_1\xrightarrow{W_2,\space b_2}z_2\xrightarrow{\sigma}h_2\xrightarrow{Dropout}h'_2\rightarrow\ldots \]
就是中间特征值。所以，我们用掩码去掉的，其实就是某层的整个某节点。
我们不难证明，\(E[h'] = h\) （很简单的高中数学概率知识）
无 \(Dropout\) 的神经网络：
\[\begin{equation}\begin{split} \mathcal{z}_i^{(l+1)} &=\mathbf{w}_i^{(l+1)}\mathbf{y}^l+b_i^{(l+1)}\\ \mathcal{y}_i^{(l+1)}&=f(\mathcal{z}_i^{(l+1)}) \end{split}\end{equation}\]
有 \(Dropout\) 的神经网络（这是早期，原始论文，所以未进行缩放来维持期望）：
\[\begin{equation}\begin{split} \mathcal{r}_j^{(l)}&\sim \mathbf{Bernoulli}(p) \\ \mathbf{\hat y}^{(l)} &=\mathbf{r}^{(l)} \cdot \mathbf{y}^{(l)} \\ \mathcal{z}_i^{(l+1)} &=\mathbf{w}_i^{(l+1)}\mathbf{\hat y}^l+b_i^{(l+1)}\\ \mathcal{y}_i^{(l+1)}&=f(\mathcal{z}_i^{(l+1)}) \end{split}\end{equation}\]
\(\mathbf{Bernoulli(p) 就是对概率 p 的 0 - 1 分布}\)
代码实现：
python
mask = (torch.rand(X.shape) > dropout).float()
return mask * X / (1.0 - dropout)对于使用Dropout的net构建：
python
net = nn.Sequential(nn.Flatten(),
nn.Linear(784, 256),
nn.ReLU(),
nn.Dropout(dropout1),
nn.Linear(256, 256),
nn.ReLU(),
nn.Dropout(dropout2),
nn.Linear(256, 10))拓展：更好理解Dropout（通过原论文理解）
类比一下，在自然界中，在中大型动物中，一般是有性繁殖，有性繁殖是指后代的基因从父母两方各继承一半。但是从直观上看，似乎无性繁殖更加合理，因为无性繁殖可以保留大段大段的优秀基因。而有性繁殖则将基因随机拆了又拆，破坏了大段基因的联合适应性。
但是自然选择中毕竟没有选择无性繁殖，而选择了有性繁殖，须知物竞天择，适者生存。我们可做一个假设，那就是基因的力量在于混合的能力而非单个基因的能力。
神经网络过拟合与每一层都依赖于前一层激活值相关，称这种情况为"共适应性"。 作者认为，暂退法会破坏共适应性，就像有性生殖会破坏共适应的基因一样。
\(Dropout\) 也能达到同样的效果，它强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。消除减弱了神经元节点间的联合适应性，增强了泛化能力。
Dropping out 20% of the input units and 50% of the hidden units was often found to be optimal.
Dropout缺点：将训练时间延长至2~3倍，因为Each training case effectively tries to train a different random architecture
本文欢迎转载，但一定标注作者与出处！