《动手学深度学习》笔记2.2——神经网络从基础→进阶 (参数管理-每层的权重/偏置)

陈苏同学2024-09-26 9:23

目录

[0. 前言](#0. 前言)

正文：参数管理

[1. 参数访问](#1. 参数访问)

[1.1 [目标参数]](#1.1 [目标参数])

[1.2 [一次性访问所有参数]](#1.2 [一次性访问所有参数])

[1.3 [从嵌套块收集参数]](#1.3 [从嵌套块收集参数])

[2. 参数初始化](#2. 参数初始化)

[2.1 [内置初始化]](#2.1 [内置初始化])

[2.2 [自定义初始化]](#2.2 [自定义初始化])

[2.3 [参数绑定-共享参数]](#2.3 [参数绑定-共享参数])

[3. 小结](#3. 小结)

[4. 练习](#4. 练习)

0. 前言

正文：参数管理

在选择了架构并设置了超参数后，我们就进入了训练阶段。 此时，我们的目标是找到使损失函数最小化的模型参数值。 经过训练后，我们将需要使用这些参数来做出未来的预测。 此外，有时我们希望提取参数，以便在其他环境中复用它们， 将模型保存下来，以便它可以在其他软件中执行， 或者为了获得科学的理解而进行检查。

之前的介绍中，我们只依靠深度学习框架来完成训练的工作， 而忽略了操作参数的具体细节。 本节，我们将介绍以下内容：

  • 访问参数，用于调试、诊断和可视化；
  • 参数初始化；
  • 在不同模型组件间共享参数。

(我们首先看一下具有单隐藏层的多层感知机。)

In [1]:

python 复制代码 
import torch
from torch import nn
​
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1))  # 传入的三个：net[0],net[1],net[2]
X = torch.rand(size=(2, 4))  # 生成随机size=(2, 4)的输入，2指的是batch size
net(X)

Out[1]:

复制代码 
tensor([[-0.0606],
        [-0.1188]], grad_fn=<AddmmBackward0>)

1. 参数访问

我们从已有模型中访问参数。 当通过Sequential类定义模型时， 我们可以通过索引来访问模型的任意层。 这就像模型是一个列表一样，每层的参数都在其属性中。 如下所示，我们可以检查第二个全连接层的参数。

In [2]:

python 复制代码 
print(net[2].state_dict())  # state_dict()拿出net中第3层的参数，有weight和bias(偏置)两个参数
复制代码 
Out[2]:
OrderedDict([('weight', tensor([[-0.1403,  0.0922, -0.1609, -0.1838,  0.3141,  0.0916, -0.1625, -0.0127]])), ('bias', tensor([-0.1967]))])

输出的结果告诉我们一些重要的事情： 首先，这个全连接层包含两个参数，分别是该层的权重和偏置。 两者都存储为单精度浮点数（float32）。 注意，参数名称允许唯一标识每个参数，即使在包含数百个层的网络中也是如此。

1.1 [目标参数]

注意，每个参数都表示为参数类的一个实例。 要对参数执行任何操作，首先我们需要访问底层的数值。 有几种方法可以做到这一点。有些比较简单，而另一些则比较通用。 下面的代码从第二个全连接层（即第三个神经网络层）提取偏置， 提取后返回的是一个参数类实例，并进一步访问该参数的值。

In [3]:

python 复制代码 
print(type(net[2].bias)) # Parameter指的是可以优化的参数，这是一个type
print(net[2].bias)  # 输出：Parameter containing: tensor([0.1474], requires_grad=True)
print(net[2].bias.data)  # .data访问值本身，.grad来访问梯度
复制代码 
Out[3]:
<class 'torch.nn.parameter.Parameter'>
Parameter containing:
tensor([-0.1967], requires_grad=True)
tensor([-0.1967])

参数是复合的对象，包含值、梯度和额外信息。 这就是我们需要显式参数值的原因。 除了值之外，我们还可以访问每个参数的梯度。 在上面这个网络中，由于我们还没有调用反向传播，所以参数的梯度处于初始状态。

In [4]:

python 复制代码 
net[2].weight.grad == None  # .data访问值本身，.grad来访问梯度，咱这里还没做反向计算，还没有梯度
# 对损失函数求导，用反向传播(链式法则)，最后使用优化算法(如SGD、Adam等)一次性更新网络的参数

Out[4]:

复制代码 
True

1.2 [一次性访问所有参数]

当我们需要对所有参数执行操作时，逐个访问它们可能会很麻烦。 当我们处理更复杂的块（例如，嵌套块）时，情况可能会变得特别复杂， 因为我们需要递归整个树来提取每个子块的参数。 下面，我们将通过演示来比较访问第一个全连接层的参数和访问所有层。

In [5]:

python 复制代码 
print(*[(name, param.shape) for name, param in net[0].named_parameters()])  # 拿出第0个net的每个参数形状
print(*[(name, param.shape) for name, param in net.named_parameters()])  # net[1]是nn.ReLU()，不显示
# 这里的'weight', torch.Size([8, 4])和前面的nn.Linear(4, 8)相反，在前向传播时pytorch会自动给weight做转置
复制代码 
Out [5]:
('weight', torch.Size([8, 4])) ('bias', torch.Size([8]))
('0.weight', torch.Size([8, 4])) ('0.bias', torch.Size([8])) ('2.weight', torch.Size([1, 8])) ('2.bias', torch.Size([1]))

拓展：关于这个转置的问题，本人尝试询问CSDN代码大模型：C知道，回答得很不错（下方有截图）

之所以将权重矩阵设计为 (out_channels, in_channels) ，把out_channels(实际是列)放前面，是为了方便拿列来进行矩阵乘法运算，符合计算机内存布局的优化，从而提高计算效率。

这为我们提供了另一种访问网络参数的方式，如下所示。

In [6]:

python 复制代码 
net.state_dict()['2.bias'].data # net[2]的bias的值

Out[6]:

复制代码 
tensor([-0.1967])

1.3 [从嵌套块收集参数]

让我们看看，如果我们将多个块相互嵌套，参数命名约定是如何工作的。 我们首先定义一个生成块的函数（可以说是"块工厂"），然后将这些块组合到更大的块中。

In [7]:

python 复制代码 
def block1():

    return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                         nn.Linear(8, 4), nn.ReLU())


def block2():
    net = nn.Sequential()
    for i in range(4):
        # 在这里嵌套
        net.add_module(f'block {i}', block1())  # 4个 block1 拼到了一起
    return net
​
rgnet = nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(X)

Out[7]:

复制代码 
tensor([[0.4036],
        [0.4036]], grad_fn=<AddmmBackward0>)

[设计了网络后，我们看看它是如何工作的。]

In [8]:

python 复制代码 
print(rgnet)
复制代码 
Out[8]:
Sequential(
  (0): Sequential(
    (block 0): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 1): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 2): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 3): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
  )
  (1): Linear(in_features=4, out_features=1, bias=True)
)

因为层是分层嵌套的，所以我们也可以像通过嵌套列表索引一样访问它们。 下面，我们访问第一个主要的块中、第二个子块的第一层的偏置项。

In [9]:

python 复制代码 
rgnet[0][1][0].bias.data

Out[9]:

复制代码 
tensor([-0.3955,  0.2888, -0.2878, -0.1033, -0.1986, -0.3564,  0.1886,  0.1515])

2. 参数初始化

知道了如何访问参数后，现在我们看看如何正确地初始化参数。 我们在 :numref:sec_numerical_stability中讨论了良好初始化的必要性。 深度学习框架提供默认随机初始化， 也允许我们创建自定义初始化方法， 满足我们通过其他规则实现初始化权重。

默认情况下，PyTorch会根据一个范围均匀地初始化权重和偏置矩阵， 这个范围是根据输入和输出维度计算出的。 PyTorch的nn.init模块提供了多种预置初始化方法。

2.1 [内置初始化]

让我们首先调用内置的初始化器。 下面的代码将所有权重参数初始化为标准差为0.01的高斯随机变量， 且将偏置参数设置为0。

In [10]:

python 复制代码 
def init_normal(m): # m指每次传入一个Module块，按照正态分布初始化参数

    if type(m) == nn.Linear:  # 只对全连接层初始化，别的(比如relu)咱就不管啦
        nn.init.normal_(m.weight, mean=0, std=0.01)  # 权重参数初始化为均值为0，方差为0.01
        nn.init.zeros_(m.bias)  # 将偏置参数设置为0；末尾的"_"指函数执行后会替换bias，没有返回值

net.apply(init_normal)  # apply()相当于"for loop"循环，对net里面所有Module都执行init_normal，遍历一遍
net[0].weight.data[0], net[0].bias.data[0]

Out[10]:

复制代码 
(tensor([ 0.0216, -0.0067,  0.0025,  0.0014]), tensor(0.))

我们还可以将所有参数初始化为给定的常数，比如初始化为1。

In [11]:

python 复制代码 
def init_constant(m): # 初始化为恒定的constant(常数)，算法层面咱不能初始化为常数，这里只是展示一种可能性

    if type(m) == nn.Linear:
        nn.init.constant_(m.weight, 1)  # 把权重矩阵每一个元素初始化为1，实际上会导致梯度消失/爆炸等问题
        nn.init.zeros_(m.bias)  # 这里只是展示一种拓展性

net.apply(init_constant)
net[0].weight.data[0], net[0].bias.data[0]

Out[11]:

复制代码 
(tensor([1., 1., 1., 1.]), tensor(0.))

我们还可以[对某些块应用不同的初始化方法]。 例如，下面我们使用Xavier初始化方法初始化第一个神经网络层， 然后将第三个神经网络层初始化为常量值42。

In [12]:

python 复制代码 
def init_xavier(m): # xavier初始化，在数值稳定性那里讲过

    if type(m) == nn.Linear:
        nn.init.xavier_uniform_(m.weight)
def init_42(m):
    if type(m) == nn.Linear:
        nn.init.constant_(m.weight, 42)  # 42这个梗出自《银河系漫游指南》，42是宇宙的答案~
​
net[0].apply(init_xavier)  # 对不同的块，应用不同的初始化函数
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)
复制代码 
tensor([-0.5535, -0.0212, -0.4946,  0.4913])
tensor([[42., 42., 42., 42., 42., 42., 42., 42.]])

2.2 [自定义初始化]

有时，深度学习框架没有提供我们需要的初始化方法。 在下面的例子中，我们使用以下的分布为任意权重参数𝑤𝑤定义初始化方法：

同样，我们实现了一个my_init函数来应用到net。

In [13]:

python 复制代码 
def my_init(m): # 更罕见的初始化，展示一下自定义初始化，作为拓展，实际用不上

    if type(m) == nn.Linear:
        print("Init", *[(name, param.shape)  # print一些debug信息
                        for name, param in m.named_parameters()][0])
        nn.init.uniform_(m.weight, -10, 10)
        m.weight.data *= m.weight.data.abs() >= 5
​
net.apply(my_init)
net[0].weight[:2]
Init weight torch.Size([8, 4])
Init weight torch.Size([1, 8])
复制代码 
Out[13]:
复制代码 
tensor([[ 0.0000, -8.9999,  9.9201, -9.2975],
        [-0.0000,  0.0000,  5.7322, -0.0000]], grad_fn=<SliceBackward0>)

注意，我们始终可以直接设置参数。

In [14]:

python 复制代码 
net[0].weight.data[:] += 1 # 更简单直接的方法，一个一个索引拿出来做替换
net[0].weight.data[0, 0] = 42
net[0].weight.data[0]
复制代码 
Out[14]:
复制代码 
tensor([42.0000, -7.9999, 10.9201, -8.2975])

2.3 [参数绑定-共享参数]

（简单应用一下之前所学，后面会用到参数绑定）有时我们希望在多个层间共享参数： 我们可以定义一个稠密层，然后使用它的参数来设置另一个层的参数。

In [15]:

python 复制代码 
# 我们需要给共享层一个名称，以便可以引用它的参数
shared = nn.Linear(8, 8)
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                    shared, nn.ReLU(),  # 参数绑定的层，参数形状、大小完全一致
                    shared, nn.ReLU(),  # 参数绑定，两个共享层的梯度不是一样的，但它们会累加到同一组参数上
                    nn.Linear(8, 1))  # 在反向传播完成后，使用优化算法(如SGD、Adam等)一次性更新网络的参数
net(X)
# 检查参数是否相同
print(net[2].weight.data[0] == net[4].weight.data[0])
net[2].weight.data[0, 0] = 100  # 修改了其中一个权重
# 确保它们实际上是同一个对象，而不只是有相同的值
print(net[2].weight.data[0] == net[4].weight.data[0])  # 另一个也同时修改了，因为指向同一个对象(实例)shared
复制代码 
Out[15]:
tensor([True, True, True, True, True, True, True, True])
tensor([True, True, True, True, True, True, True, True])

这个例子表明第三个和第五个神经网络层的参数是绑定的。 它们不仅值相等，而且由相同的张量表示。 因此，如果我们改变其中一个参数，另一个参数也会改变。 这里有一个问题：当参数绑定时，梯度会发生什么情况？ 答案是由于模型参数包含梯度，因此在反向传播期间第二个隐藏层 （即第三个神经网络层）和第三个隐藏层（即第五个神经网络层）的梯度会加在一起。

3. 小结

  • 我们有几种方法可以访问、初始化和绑定模型参数。
  • 我们可以使用自定义初始化方法。

4. 练习

  1. 使用 :numref:sec_model_construction 中定义的FancyMLP模型，访问各个层的参数。
  2. 查看初始化模块文档以了解不同的初始化方法。
  3. 构建包含共享参数层的多层感知机并对其进行训练。在训练过程中，观察模型各层的参数和梯度。
  4. 为什么共享参数是个好主意？
相关推荐
鸭鸭梨吖几秒前
产品经理笔记
笔记·产品经理
努力的家伙是不讨厌的4 分钟前
解析json导出csv或者直接入库
开发语言·python·json
-Nemophilist-21 分钟前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
齐 飞26 分钟前
MongoDB笔记01-概念与安装
前端·数据库·笔记·后端·mongodb
云空27 分钟前
《Python 与 SQLite：强大的数据库组合》
数据库·python·sqlite
成富1 小时前
文本转SQL（Text-to-SQL），场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
丫头，冲鸭！！！1 小时前
B树（B-Tree）和B+树（B+ Tree）
笔记·算法
凤枭香1 小时前
Python OpenCV 傅里叶变换
开发语言·图像处理·python·opencv
CSDN云计算1 小时前
如何以开源加速AI企业落地，红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
测试杂货铺1 小时前
外包干了2年，快要废了。。
自动化测试·软件测试·python·功能测试·测试工具·面试·职场和发展
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10【TC3xx芯片】TC3xx芯片电源管理系统PMS详解