《动手学深度学习》笔记2.2——神经网络从基础→进阶 (参数管理-每层的权重/偏置)

目录

[0. 前言](#0. 前言)

正文:参数管理

[1. 参数访问](#1. 参数访问)

[1.1 [目标参数]](#1.1 [目标参数])

[1.2 [一次性访问所有参数]](#1.2 [一次性访问所有参数])

[1.3 [从嵌套块收集参数]](#1.3 [从嵌套块收集参数])

[2. 参数初始化](#2. 参数初始化)

[2.1 [内置初始化]](#2.1 [内置初始化])

[2.2 [自定义初始化]](#2.2 [自定义初始化])

[2.3 [参数绑定-共享参数]](#2.3 [参数绑定-共享参数])

[3. 小结](#3. 小结)

[4. 练习](#4. 练习)


0. 前言

正文:参数管理

在选择了架构并设置了超参数后,我们就进入了训练阶段。 此时,我们的目标是找到使损失函数最小化的模型参数值。 经过训练后,我们将需要使用这些参数来做出未来的预测。 此外,有时我们希望提取参数,以便在其他环境中复用它们, 将模型保存下来,以便它可以在其他软件中执行, 或者为了获得科学的理解而进行检查。

之前的介绍中,我们只依靠深度学习框架来完成训练的工作, 而忽略了操作参数的具体细节。 本节,我们将介绍以下内容:

  • 访问参数,用于调试、诊断和可视化;
  • 参数初始化;
  • 在不同模型组件间共享参数。

(我们首先看一下具有单隐藏层的多层感知机。)

In [1]:

python 复制代码
import torch
from torch import nn
​
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1))  # 传入的三个:net[0],net[1],net[2]
X = torch.rand(size=(2, 4))  # 生成随机size=(2, 4)的输入,2指的是batch size
net(X)

Out[1]:

复制代码
tensor([[-0.0606],
        [-0.1188]], grad_fn=<AddmmBackward0>)

1. 参数访问

我们从已有模型中访问参数。 当通过Sequential类定义模型时, 我们可以通过索引来访问模型的任意层。 这就像模型是一个列表一样,每层的参数都在其属性中。 如下所示,我们可以检查第二个全连接层的参数。

In [2]:

python 复制代码
print(net[2].state_dict())  # state_dict()拿出net中第3层的参数,有weight和bias(偏置)两个参数
复制代码
Out[2]:
OrderedDict([('weight', tensor([[-0.1403,  0.0922, -0.1609, -0.1838,  0.3141,  0.0916, -0.1625, -0.0127]])), ('bias', tensor([-0.1967]))])

输出的结果告诉我们一些重要的事情: 首先,这个全连接层包含两个参数,分别是该层的权重和偏置。 两者都存储为单精度浮点数(float32)。 注意,参数名称允许唯一标识每个参数,即使在包含数百个层的网络中也是如此。

1.1 [目标参数]

注意,每个参数都表示为参数类的一个实例。 要对参数执行任何操作,首先我们需要访问底层的数值。 有几种方法可以做到这一点。有些比较简单,而另一些则比较通用。 下面的代码从第二个全连接层(即第三个神经网络层)提取偏置, 提取后返回的是一个参数类实例,并进一步访问该参数的值。

In [3]:

python 复制代码
print(type(net[2].bias)) # Parameter指的是可以优化的参数,这是一个type
print(net[2].bias)  # 输出:Parameter containing: tensor([0.1474], requires_grad=True)
print(net[2].bias.data)  # .data访问值本身,.grad来访问梯度
复制代码
Out[3]:
<class 'torch.nn.parameter.Parameter'>
Parameter containing:
tensor([-0.1967], requires_grad=True)
tensor([-0.1967])

参数是复合的对象,包含值、梯度和额外信息。 这就是我们需要显式参数值的原因。 除了值之外,我们还可以访问每个参数的梯度。 在上面这个网络中,由于我们还没有调用反向传播,所以参数的梯度处于初始状态。

In [4]:

python 复制代码
net[2].weight.grad == None  # .data访问值本身,.grad来访问梯度,咱这里还没做反向计算,还没有梯度
# 对损失函数求导,用反向传播(链式法则),最后使用优化算法(如SGD、Adam等)一次性更新网络的参数

Out[4]:

复制代码
True

1.2 [一次性访问所有参数]

当我们需要对所有参数执行操作时,逐个访问它们可能会很麻烦。 当我们处理更复杂的块(例如,嵌套块)时,情况可能会变得特别复杂, 因为我们需要递归整个树来提取每个子块的参数。 下面,我们将通过演示来比较访问第一个全连接层的参数和访问所有层。

In [5]:

python 复制代码
print(*[(name, param.shape) for name, param in net[0].named_parameters()])  # 拿出第0个net的每个参数形状
print(*[(name, param.shape) for name, param in net.named_parameters()])  # net[1]是nn.ReLU(),不显示
# 这里的'weight', torch.Size([8, 4])和前面的nn.Linear(4, 8)相反,在前向传播时pytorch会自动给weight做转置
复制代码
Out [5]:
('weight', torch.Size([8, 4])) ('bias', torch.Size([8]))
('0.weight', torch.Size([8, 4])) ('0.bias', torch.Size([8])) ('2.weight', torch.Size([1, 8])) ('2.bias', torch.Size([1]))

拓展:关于这个转置的问题,本人尝试询问CSDN代码大模型:C知道,回答得很不错(下方有截图)

之所以将权重矩阵设计为 (out_channels, in_channels) ,把out_channels(实际是列)放前面,是为了方便拿列来进行矩阵乘法运算,符合计算机内存布局的优化,从而提高计算效率

这为我们提供了另一种访问网络参数的方式,如下所示。

In [6]:

python 复制代码
net.state_dict()['2.bias'].data # net[2]的bias的值

Out[6]:

复制代码
tensor([-0.1967])

1.3 [从嵌套块收集参数]

让我们看看,如果我们将多个块相互嵌套,参数命名约定是如何工作的。 我们首先定义一个生成块的函数(可以说是"块工厂"),然后将这些块组合到更大的块中。

In [7]:

python 复制代码
def block1():

    return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                         nn.Linear(8, 4), nn.ReLU())


def block2():
    net = nn.Sequential()
    for i in range(4):
        # 在这里嵌套
        net.add_module(f'block {i}', block1())  # 4个 block1 拼到了一起
    return net
​
rgnet = nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(X)

Out[7]:

复制代码
tensor([[0.4036],
        [0.4036]], grad_fn=<AddmmBackward0>)

**设计了网络后,我们看看它是如何工作的。**

In [8]:

python 复制代码
print(rgnet)
复制代码
Out[8]:
Sequential(
  (0): Sequential(
    (block 0): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 1): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 2): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 3): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
  )
  (1): Linear(in_features=4, out_features=1, bias=True)
)

因为层是分层嵌套的,所以我们也可以像通过嵌套列表索引一样访问它们。 下面,我们访问第一个主要的块中、第二个子块的第一层的偏置项。

In [9]:

python 复制代码
rgnet[0][1][0].bias.data

Out[9]:

复制代码
tensor([-0.3955,  0.2888, -0.2878, -0.1033, -0.1986, -0.3564,  0.1886,  0.1515])

2. 参数初始化

知道了如何访问参数后,现在我们看看如何正确地初始化参数。 我们在 :numref:sec_numerical_stability中讨论了良好初始化的必要性。 深度学习框架提供默认随机初始化, 也允许我们创建自定义初始化方法, 满足我们通过其他规则实现初始化权重。

默认情况下,PyTorch会根据一个范围均匀地初始化权重和偏置矩阵, 这个范围是根据输入和输出维度计算出的。 PyTorch的nn.init模块提供了多种预置初始化方法。

2.1 [内置初始化]

让我们首先调用内置的初始化器。 下面的代码将所有权重参数初始化为标准差为0.01的高斯随机变量, 且将偏置参数设置为0。

In [10]:

python 复制代码
def init_normal(m): # m指每次传入一个Module块,按照正态分布初始化参数

    if type(m) == nn.Linear:  # 只对全连接层初始化,别的(比如relu)咱就不管啦
        nn.init.normal_(m.weight, mean=0, std=0.01)  # 权重参数初始化为均值为0,方差为0.01
        nn.init.zeros_(m.bias)  # 将偏置参数设置为0;末尾的"_"指函数执行后会替换bias,没有返回值

net.apply(init_normal)  # apply()相当于"for loop"循环,对net里面所有Module都执行init_normal,遍历一遍
net[0].weight.data[0], net[0].bias.data[0]

Out[10]:

复制代码
(tensor([ 0.0216, -0.0067,  0.0025,  0.0014]), tensor(0.))

我们还可以将所有参数初始化为给定的常数,比如初始化为1。

In [11]:

python 复制代码
def init_constant(m): # 初始化为恒定的constant(常数),算法层面咱不能初始化为常数,这里只是展示一种可能性

    if type(m) == nn.Linear:
        nn.init.constant_(m.weight, 1)  # 把权重矩阵每一个元素初始化为1,实际上会导致梯度消失/爆炸等问题
        nn.init.zeros_(m.bias)  # 这里只是展示一种拓展性

net.apply(init_constant)
net[0].weight.data[0], net[0].bias.data[0]

Out[11]:

复制代码
(tensor([1., 1., 1., 1.]), tensor(0.))

我们还可以[对某些块应用不同的初始化方法]。 例如,下面我们使用Xavier初始化方法初始化第一个神经网络层, 然后将第三个神经网络层初始化为常量值42。

In [12]:

python 复制代码
def init_xavier(m): # xavier初始化,在数值稳定性那里讲过

    if type(m) == nn.Linear:
        nn.init.xavier_uniform_(m.weight)
def init_42(m):
    if type(m) == nn.Linear:
        nn.init.constant_(m.weight, 42)  # 42这个梗出自《银河系漫游指南》,42是宇宙的答案~
​
net[0].apply(init_xavier)  # 对不同的块,应用不同的初始化函数
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)
复制代码
tensor([-0.5535, -0.0212, -0.4946,  0.4913])
tensor([[42., 42., 42., 42., 42., 42., 42., 42.]])

2.2 [自定义初始化]

有时,深度学习框架没有提供我们需要的初始化方法。 在下面的例子中,我们使用以下的分布为任意权重参数𝑤𝑤定义初始化方法:

同样,我们实现了一个my_init函数来应用到net

In [13]:

python 复制代码
def my_init(m): # 更罕见的初始化,展示一下自定义初始化,作为拓展,实际用不上

    if type(m) == nn.Linear:
        print("Init", *[(name, param.shape)  # print一些debug信息
                        for name, param in m.named_parameters()][0])
        nn.init.uniform_(m.weight, -10, 10)
        m.weight.data *= m.weight.data.abs() >= 5
​
net.apply(my_init)
net[0].weight[:2]
Init weight torch.Size([8, 4])
Init weight torch.Size([1, 8])
复制代码
Out[13]:
复制代码
tensor([[ 0.0000, -8.9999,  9.9201, -9.2975],
        [-0.0000,  0.0000,  5.7322, -0.0000]], grad_fn=<SliceBackward0>)

注意,我们始终可以直接设置参数。

In [14]:

python 复制代码
net[0].weight.data[:] += 1 # 更简单直接的方法,一个一个索引拿出来做替换
net[0].weight.data[0, 0] = 42
net[0].weight.data[0]
复制代码
Out[14]:
复制代码
tensor([42.0000, -7.9999, 10.9201, -8.2975])

2.3 [参数绑定-共享参数]

(简单应用一下之前所学,后面会用到参数绑定)有时我们希望在多个层间共享参数: 我们可以定义一个稠密层,然后使用它的参数来设置另一个层的参数。

In [15]:

python 复制代码
# 我们需要给共享层一个名称,以便可以引用它的参数
shared = nn.Linear(8, 8)
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                    shared, nn.ReLU(),  # 参数绑定的层,参数形状、大小完全一致
                    shared, nn.ReLU(),  # 参数绑定,两个共享层的梯度不是一样的,但它们会累加到同一组参数上
                    nn.Linear(8, 1))  # 在反向传播完成后,使用优化算法(如SGD、Adam等)一次性更新网络的参数
net(X)
# 检查参数是否相同
print(net[2].weight.data[0] == net[4].weight.data[0])
net[2].weight.data[0, 0] = 100  # 修改了其中一个权重
# 确保它们实际上是同一个对象,而不只是有相同的值
print(net[2].weight.data[0] == net[4].weight.data[0])  # 另一个也同时修改了,因为指向同一个对象(实例)shared
复制代码
Out[15]:
tensor([True, True, True, True, True, True, True, True])
tensor([True, True, True, True, True, True, True, True])

这个例子表明第三个和第五个神经网络层的参数是绑定的。 它们不仅值相等,而且由相同的张量表示。 因此,如果我们改变其中一个参数,另一个参数也会改变。 这里有一个问题:当参数绑定时,梯度会发生什么情况? 答案是由于模型参数包含梯度,因此在反向传播期间第二个隐藏层 (即第三个神经网络层)和第三个隐藏层(即第五个神经网络层)的梯度会加在一起。

3. 小结

  • 我们有几种方法可以访问、初始化和绑定模型参数。
  • 我们可以使用自定义初始化方法。

4. 练习

  1. 使用 :numref:sec_model_construction 中定义的FancyMLP模型,访问各个层的参数。
  2. 查看初始化模块文档以了解不同的初始化方法。
  3. 构建包含共享参数层的多层感知机并对其进行训练。在训练过程中,观察模型各层的参数和梯度。
  4. 为什么共享参数是个好主意?
相关推荐
The Future is mine3 分钟前
Python计算经纬度两点之间距离
开发语言·python
斯汤雷5 分钟前
Matlab绘图案例,设置图片大小,坐标轴比例为黄金比
数据库·人工智能·算法·matlab·信息可视化
九月镇灵将6 分钟前
GitPython库快速应用入门
git·python·gitpython
ejinxian12 分钟前
Spring AI Alibaba 快速开发生成式 Java AI 应用
java·人工智能·spring
葡萄成熟时_16 分钟前
【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】【代码篇】A题解题全流程(持续更新)
人工智能·数据挖掘
杉之17 分钟前
SpringBlade 数据库字段的自动填充
java·笔记·学习·spring·tomcat
机器之心30 分钟前
一篇论文,看见百度广告推荐系统在大模型时代的革新
人工智能
机器之心33 分钟前
视觉SSL终于追上了CLIP!Yann LeCun、谢赛宁等新作,逆转VQA任务固有认知
人工智能