从0开始深度学习(17)——数值稳定性和模型初始化

在每次训练之前,都会对模型的参数进行初始化,初始化方案的选择在神经网络学习中起着举足轻重的作用, 它对保持数值稳定性至关重要。

我们选择哪个函数以及如何初始化参数 可以决定优化算法收敛的速度有多快。 糟糕选择可能会导致我们在训练时遇到梯度爆炸梯度消失

1 梯度消失和梯度爆炸

不稳定梯度带来的风险不止在于数值表示; 不稳定梯度也威胁到我们优化算法的稳定性。 我们可能面临一些问题:

要么是**梯度爆炸(gradient exploding)问题: 参数更新过大,破坏了模型的稳定收敛;
要么是
梯度消失(gradient vanishing)**问题: 参数更新过小,在每次更新时几乎不会移动,导致模型无法学习。

1.1 梯度消失

这里以sigmoid函数为例,因为它类似于阈值函数,所以也容易导致梯度消失,我们创建了一个从 -8.0 到 8.0,步长为 0.1 的一维张量 x,使用sigmoid函数,然后计算 y 对 x 的梯度,最后输出一个横轴是x,y轴是梯度的图像

python 复制代码
%matplotlib inline
import torch
from d2l import torch as d2l

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = torch.sigmoid(x)
y.backward(torch.ones_like(x))

d2l.plot(x.detach().numpy(), [y.detach().numpy(), x.grad.numpy()],
         legend=['sigmoid', 'gradient'], figsize=(4.5, 2.5))

我们发现,当sigmoid函数的输入很大或是很小时,它的梯度都会消失,所以一旦某个网络层的输入过大或者过小,梯度就会消失, 因此,更稳定的ReLU系列函数称为了默认选择

1.2 梯度爆炸

通过构造一个简单的递归函数或链式乘法,可以看到梯度在反向传播过程中如何逐渐增大

python 复制代码
%matplotlib inline
import torch
from d2l import torch as d2l

# 构造从 -1 到 1 的输入数据,并启用梯度计算
x = torch.tensor(1.0, requires_grad=True)

# 模拟梯度爆炸:我们构造一个由 100 个常数值相乘的过程
y = x
for i in range(100):  # 重复 100 次
    y = y * 1.1  # 每次乘以 1.1

# 反向传播
y.backward()

# 绘制结果
x_grad = x.grad.item()
print(f"x 的梯度值为: {x_grad}")

# 由于我们反复放大,梯度会呈指数增长,这就是梯度爆炸的表现。

当这种情况是由于深度网络的初始化所导致时,我们没有机会让梯度下降优化器收敛。

1.3 对称性问题

如果所有的神经元(同一层中的神经元)具有相同的初始权重,它们将学到相同的特征。这种现象会让网络的学习过程失去多样性,进而影响模型的表达能力和训练效果。

例如,如果你把每一层的所有神经元的权重都初始化为 0 或相同的值,网络中的每个神经元都会执行相同的计算,这样就失去了通过不同神经元学习不同特征的意义。

1.4 打破对称性

打破对称性就是在网络初始化时,为每个神经元赋予不同的初始权重值,确保它们在训练过程中能学习到不同的特征。通常的做法是随机初始化权重 ,同样的还能使用暂退法正则化来打破

2 参数初始化

解决(或至少减轻)上述问题的一种方法是进行参数初始化

2.1 默认初始化

之前的例子中,我们一直使用的是正态分布来初始化权重,如果不指定,pytorch框架会使用默认的随机初始化方法。

2.2 Xavier初始化( Glorot 初始化)

核心思想:

Xavier 初始化的目标是确保信号的方差在每一层传播时保持一致,即:

  • 前向传播中,输出的激活值的方差保持稳定,避免过大或过小。
  • 反向传播中,梯度的方差同样保持稳定,避免梯度爆炸或梯度消失。

为了实现这个目标,Xavier 初始化根据输入和输出层的神经元数量,计算合适的初始权重分布。具体公式如下:

对于权重矩阵中的每个元素 W i j W_{ij} Wij ,其初始化值从一个均匀分布或正态分布中随机采样:

  1. 均匀分布:
  1. 正态分布:

​其中:

  • n i n n_{in} nin是该层神经元的输入节点数量(上一层的神经元数量)。
  • n o u t n_{out} nout是该层神经元的输出节点数量(下一层的神经元数量)。

PyTorch 中提供了 Xavier 初始化的方法,可以直接使用 torch.nn.init.xavier_uniform_ 或 torch.nn.init.xavier_normal_ 来应用 Xavier 初始化。

python 复制代码
import torch
import torch.nn as nn

linear = nn.Linear(100, 50)  
# 使用 Xavier 均匀初始化
nn.init.xavier_uniform_(linear.weight)
# 如果需要 Xavier 正态分布初始化
# nn.init.xavier_normal_(linear.weight)

Xavier 初始化通过平衡前向和反向传播中信号和梯度的方差,能够有效地帮助深层网络稳定训练,特别是对于使用 sigmoid 或 tanh 激活函数的网络非常重要。

相关推荐
第六五12 分钟前
DPC和DPC-KNN算法
人工智能·算法·机器学习
Xxtaoaooo14 分钟前
OCR文字识别前沿:PaddleOCR/DBNet++的端到端文本检测与识别
人工智能·ai·ocr·文本检测·dbnet++
taxunjishu15 分钟前
DeviceNet 转 MODBUS TCP:倍福 CX 系列 PLC 与 MES 系统在 SMT 回流焊温度曲线监控的通讯配置案例
运维·人工智能·物联网·自动化·区块链
小烤箱22 分钟前
自动驾驶工程师面试(定位、感知向)
人工智能·面试·自动驾驶
IT_陈寒24 分钟前
《Redis性能翻倍的7个冷门技巧,90%开发者都不知道!》
前端·人工智能·后端
龙俊杰的读书笔记38 分钟前
《小白学随机过程》第一章:随机过程——定义和形式 (附录1 探究随机变量)
人工智能·机器学习·概率论·随机过程和rl
长空任鸟飞_阿康1 小时前
在 Vue 3.5 中优雅地集成 wangEditor,并定制“AI 工具”下拉菜单(总结/润色/翻译)
前端·vue.js·人工智能
滑水滑成滑头1 小时前
**发散创新:多智能体系统的探索与实践**随着人工智能技术的飞速发展,多智能体系统作为当今研究的热点领域,正受到越来越多关注
java·网络·人工智能·python
盼小辉丶1 小时前
PyTorch实战(9)——从零开始实现Transformer
pytorch·深度学习·transformer
云布道师1 小时前
阿里云 OSS MetaQuery 全面升级——新增内容和语义的检索能力,助力 AI 应用快速落地
人工智能·阿里云·云计算