Pytorch中的self.parameters()

文章目录

1. 作用

在 PyTorch 中,self.parameters() 是一个模型方法,它返回模型中所有需要优化的参数。这些参数通常是模型中的权重和偏置项。

当你定义一个 PyTorch 模型类时,你会将模型的各个层(如全连接层、卷积层等)定义在 __init__ 方法中,这些层中的参数都会被 PyTorch 自动识别为模型的可训练参数。self.parameters() 方法就是用来访问这些可训练参数的。

2. 例子

import torch
import torch.nn as nn

class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        
        # nn.Linear()   -->    y = xA^T + b
        self.fc1 = nn.Linear(10, 5)  # 定义一个全连接层,输入维度为10,输出维度为5 
        self.fc2 = nn.Linear(5, 2)   # 定义另一个全连接层,输入维度为5,输出维度为2

    def forward(self, x):
        x = torch.relu(self.fc1(x))  # 使用ReLU激活函数进行前向传播
        x = self.fc2(x)
        return x

# 创建一个模型实例
model = SimpleModel()

# 使用self.parameters()获取模型中的所有参数
params = model.parameters()

# 遍历并输出模型中的参数及其形状
for param in params:
    print(param.shape)

# torch.Size([5, 10])  第一个全连接层的A
# torch.Size([5])      第一个全连接层的b
# torch.Size([2, 5])   第二个全连接层的A
# torch.Size([2])      第二个全连接层的b

3.与.state_dict()的区别

model.parameters()model.state_dict() 是 PyTorch 中用于获取模型参数的两种不同方式,它们之间有一些区别:

  1. model.parameters()
    • model.parameters() 是一个方法,用于获取模型中所有需要训练的参数。
    • 返回一个迭代器,可以用来访问模型中的参数张量。
    • 这个方法返回的是参数张量本身,不包含参数的名称信息。
  2. model.state_dict()
    • model.state_dict() 是一个方法,用于获取模型的状态字典。
    • 返回一个字典,其中包含了模型中所有有参数的名称及其对应的参数张量。
    • 这个字典中的键是参数的名称,值是参数张量。

通常情况下,当你需要保存或加载模型的参数时,model.state_dict() 是更常用的选择,因为它提供了模型参数及其名称的完整信息,方便了保存和加载模型的状态。而 model.parameters() 则更适用于需要直接对参数进行操作的情况,比如初始化参数或手动更新参数等。

4.一个对比的例子

import torch
import torch.nn as nn

# 定义一个简单的神经网络模型
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc1 = nn.Linear(10, 5)  # 定义一个全连接层,输入维度为10,输出维度为5
        self.fc2 = nn.Linear(5, 2)   # 定义另一个全连接层,输入维度为5,输出维度为2

    def forward(self, x):
        x = torch.relu(self.fc1(x))  # 使用ReLU激活函数进行前向传播
        x = self.fc2(x)
        return x

# 创建一个模型实例
model = SimpleModel()

# 打印模型结构
print("模型结构:")
print(model)
# 模型结构:
# SimpleModel(
#   (fc1): Linear(in_features=10, out_features=5, bias=True)
#   (fc2): Linear(in_features=5, out_features=2, bias=True)
# )

# 通过 model.parameters() 获取模型中的参数
print("\n所有参数:")
for param in model.parameters():
    print(param.shape)

# 所有参数:
# torch.Size([5, 10])
# torch.Size([5])
# torch.Size([2, 5])
# torch.Size([2])

# 通过 model.state_dict() 获取模型的状态字典
print("\n模型状态字典:")
print(model.state_dict())

# 模型状态字典:
# OrderedDict([('fc1.weight', tensor([[ 0.2434,  0.1585, -0.0489, -0.2854,  0.0958,  0.0450,  0.0235, -0.0228,
#           0.2934,  0.1910],
#         [-0.1329,  0.1001, -0.0748, -0.2244, -0.2213, -0.0490, -0.2735, -0.0396,
#          -0.2985, -0.0525],
#         [-0.2757, -0.2826, -0.1690,  0.0196, -0.1237, -0.0701,  0.0759, -0.0892,
#          -0.0736,  0.1501],
#         [-0.3107,  0.1578,  0.2759,  0.1827,  0.1034,  0.2269,  0.0864,  0.2918,
#          -0.2557,  0.0274],
#         [ 0.1479,  0.1868,  0.2288, -0.2756,  0.2752, -0.1571,  0.1131,  0.1191,
#           0.1174,  0.2341]])), ('fc1.bias', tensor([ 0.2031,  0.0612,  0.2677,  0.2544, -0.0595])), ('fc2.weight', tensor([[-0.3650, -0.1921,  0.0852, -0.0216,  0.0677],
#         [ 0.2857,  0.2233,  0.1513, -0.2641,  0.2005]])), ('fc2.bias', tensor([0.1477, 0.1283]))])
相关推荐
云空15 分钟前
《Python 与 SQLite:强大的数据库组合》
数据库·python·sqlite
成富1 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
凤枭香1 小时前
Python OpenCV 傅里叶变换
开发语言·图像处理·python·opencv
CSDN云计算1 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
测试杂货铺1 小时前
外包干了2年,快要废了。。
自动化测试·软件测试·python·功能测试·测试工具·面试·职场和发展
艾派森1 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
hairenjing11231 小时前
在 Android 手机上从SD 卡恢复数据的 6 个有效应用程序
android·人工智能·windows·macos·智能手机
小蜗子1 小时前
Multi‐modal knowledge graph inference via media convergenceand logic rule
人工智能·知识图谱
SpikeKing1 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
小码的头发丝、2 小时前
Django中ListView 和 DetailView类的区别
数据库·python·django