文章目录
1.torch.nn.Parameter()
torch.nn.Parameter() 是 PyTorch 中的一个类,用于将张量包装成可训练的参数。
在神经网络中,我们需要定义可训练的参数,例如模型的权重和偏置。torch.nn.Parameter() 允许我们将张量包装成一个特殊的参数对象,该对象会被注册为模型的一部分,并且可以自动进行梯度计算和更新。
c
import torch
import torch.nn as nn
# 定义一个线性模型类
class LinearModel(nn.Module):
def __init__(self):
super(LinearModel, self).__init__()
# 创建一个可训练的参数
self.weights = nn.Parameter(torch.randn(3, 2))
self.bias = nn.Parameter(torch.zeros(3))
def forward(self, x):
# 使用参数进行线性变换
return torch.matmul(x, self.weights) + self.bias
# 创建一个线性模型对象
model = LinearModel()
# 获取模型的参数
parameters = list(model.parameters())
print(parameters)
print("==============")
print(model.parameters)
python
[Parameter containing:
tensor([[-1.0570, -0.7752],
[-1.1010, 0.0697],
[ 1.3795, 0.5130]], requires_grad=True), Parameter containing:
tensor([0., 0., 0.], requires_grad=True)]
==============
<bound method Module.parameters of LinearModel()>
2.torch.nn.Module()
torch.nn.Module() 是 PyTorch 中的一个基类,用于定义神经网络模型的基本结构。torch.nn.Module 是一个可扩展的类,用于构建神经网络模型。当我们定义自己的神经网络模型时,通常会继承 torch.nn.Module 类,并重写其中的方法,以定义模型的结构和前向传播逻辑。
代码如下(示例):
c
import torch
import torch.nn as nn
# 定义一个简单的全连接神经网络模型
class SimpleNet(nn.Module):
def __init__(self):
super(SimpleNet, self).__init__()
# 定义模型的层
self.fc1 = nn.Linear(10, 20)
self.fc2 = nn.Linear(20, 10)
def forward(self, x):
# 定义模型的前向传播逻辑
x = self.fc1(x)
x = torch.relu(x)
x = self.fc2(x)
return x
# 创建一个模型实例
model = SimpleNet()
# 打印模型结构
print(model)
python
SimpleNet(
(fc1): Linear(in_features=10, out_features=20, bias=True)
(fc2): Linear(in_features=20, out_features=10, bias=True)
)
3.torch.nn.Sequential()
torch.nn.Sequential() 是 PyTorch 中的一个类,用于按顺序组合多个层或模块,构建神经网络模型。torch.nn.Sequential 允许我们将多个层或模块按照顺序连接起来,形成一个串联的神经网络模型。我们可以通过传入层或模块的列表来定义网络的结构,或者在创建 Sequential 实例后使用 .add() 方法逐个添加层或模块。
python
import torch
import torch.nn as nn
# 使用 Sequential 定义一个简单的全连接神经网络模型
model = nn.Sequential(
nn.Linear(10, 20),
nn.ReLU(),
nn.Linear(20, 10)
)
# 打印模型结构
print(model)
python
Sequential(
(0): Linear(in_features=10, out_features=20, bias=True)
(1): ReLU()
(2): Linear(in_features=20, out_features=10, bias=True)
)
4.torch.nn.ModuleList()
torch.nn.ModuleList() 是 PyTorch 中的一个类,用于将多个模块组合成一个模块列表。torch.nn.ModuleList 提供了一种容器,可以用于存储和管理多个模块,类似于 Python 中的列表。与普通的 Python 列表不同,ModuleList 将被视为模型的一部分,并且在模型中注册为子模块,以便在模型的其他部分中使用。
python
import torch
import torch.nn as nn
# 定义一个模型类,其中包含多个线性层
class MyModel(nn.Module):
def __init__(self):
super(MyModel, self).__init__()
self.layers = nn.ModuleList([
nn.Linear(10, 20),
nn.ReLU(),
nn.Linear(20, 10)
])
def forward(self, x):
for layer in self.layers:
x = layer(x)
return x
# 创建一个模型实例
model = MyModel()
# 打印模型结构
print(model)
python
MyModel(
(layers): ModuleList(
(0): Linear(in_features=10, out_features=20, bias=True)
(1): ReLU()
(2): Linear(in_features=20, out_features=10, bias=True)
)
)
5.torch.nn.ModuleDict()
torch.nn.ModuleDict() 是 PyTorch 中的一个类,用于将多个模块组合成一个模块字典。torch.nn.ModuleDict 提供了一种容器,可以用于存储和管理多个模块,并按照键值对的形式进行访问。类似于 Python 中的字典,ModuleDict 允许通过键来访问存储的模块。
python
import torch
import torch.nn as nn
# 定义一个模型类,其中包含多个线性层,并以字典形式存储
class MyModel(nn.Module):
def __init__(self):
super(MyModel, self).__init__()
self.layers = nn.ModuleDict({
'linear1': nn.Linear(10, 20),
'relu': nn.ReLU(),
'linear2': nn.Linear(20, 10)
})
def forward(self, x):
x = self.layers['linear1'](x)
x = self.layers['relu'](x)
x = self.layers['linear2'](x)
return x
# 创建一个模型实例
model = MyModel()
# 打印模型结构
print(model)
python
MyModel(
(layers): ModuleDict(
(linear1): Linear(in_features=10, out_features=20, bias=True)
(relu): ReLU()
(linear2): Linear(in_features=20, out_features=10, bias=True)
)
)
6.torch.nn.ParameterList()
torch.nn.ParameterList() 是 PyTorch 中的一个类,用于将多个参数(torch.nn.Parameter)组合成一个参数列表。torch.nn.ParameterList 提供了一种容器,可以用于存储和管理多个参数,并按照列表的形式进行访问。它通常用于将一组可学习的参数组织在一起,以便在模型中使用或进行优化。
python
import torch
import torch.nn as nn
# 定义一个模型类,其中包含多个可学习的参数并以列表形式存储
class MyModel(nn.Module):
def __init__(self):
super(MyModel, self).__init__()
self.parameters = nn.ParameterList([
nn.Parameter(torch.randn(10, 20)),
nn.Parameter(torch.randn(20, 10))
])
def forward(self, x):
# 在前向传播中使用参数
return torch.matmul(x, self.parameters[0]) + self.parameters[1]
# 创建一个模型实例
model = MyModel()
# 打印模型结构
print(model)
python
MyModel(
(parameters): ParameterList(
(0): Parameter containing: [torch.float32 of size 10x20]
(1): Parameter containing: [torch.float32 of size 20x10]
)
)
7.torch.nn.ParameterDict()
torch.nn.ParameterDict() 是 PyTorch 中的一个类,用于将多个参数(torch.nn.Parameter)组合成一个参数字典。
torch.nn.ParameterDict 提供了一种容器,可以用于存储和管理多个参数,并按照键值对的形式进行访问。类似于 Python 中的字典,ParameterDict 允许通过键来访问存储的参数。
python
import torch
import torch.nn as nn
# 定义一个模型类,其中包含多个可学习的参数,并以字典形式存储
class MyModel(nn.Module):
def __init__(self):
super(MyModel, self).__init__()
self.parameters = nn.ParameterDict({
'weight1': nn.Parameter(torch.randn(10, 20)),
'weight2': nn.Parameter(torch.randn(20, 10))
})
def forward(self, x):
# 在前向传播中使用参数
return torch.matmul(x, self.parameters['weight1']) + self.parameters['weight2']
# 创建一个模型实例
model = MyModel()
# 打印模型结构
print(model)
python
MyModel(
(parameters): ParameterDict(
(weight1): Parameter containing: [torch.FloatTensor of size 10x20]
(weight2): Parameter containing: [torch.FloatTensor of size 20x10]
)
)