pytorch 中 nn.ModuleList()使用说明

nn.ModuleList() 是 PyTorch 中的一个类,用于管理神经网络模型中的子模块列表。它允许将多个子模块组织在一起,并将它们作为整个模型的一部分进行管理和操作。

在神经网络模型的开发过程中,通常需要定义和使用多个子模块,例如不同的层、块或者其他组件。nn.ModuleList() 提供了一种方便的方式来管理这些子模块,并确保它们被正确地注册为模型的一部分。

使用 nn.ModuleList() 需要进行两个步骤:

在模型的 init 方法中,定义一个 nn.ModuleList 实例,并将需要管理的子模块添加到该列表中。

在模型的 forward 方法中,使用 nn.ModuleList 实例来访问和操作子模块。

python 复制代码
import torch
import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()

        self.module_list = nn.ModuleList([
            nn.Linear(3, 4),
            nn.ReLU(),
            nn.Linear(4, 3),
        ])

    def forward(self, x):
        for module in self.module_list:
            x = module(x)
            print(x)
        return x

model = MyModel()

input_tensor = torch.randn(5, 3)

output_tensor = model(input_tensor)

输出:
tensor([[ 0.4509,  0.3470, -0.0216, -0.5590],
        [-0.4539,  0.3508,  0.8228, -0.2100],
        [ 0.6888,  0.1177, -0.6534, -0.8283],
        [-1.3217,  0.5313,  2.0204,  0.4374],
        [ 0.3079,  0.5607,  0.3941, -0.5886]], grad_fn=<AddmmBackward>)

tensor([[0.4509, 0.3470, 0.0000, 0.0000],
        [0.0000, 0.3508, 0.8228, 0.0000],
        [0.6888, 0.1177, 0.0000, 0.0000],
        [0.0000, 0.5313, 2.0204, 0.4374],
        [0.3079, 0.5607, 0.3941, 0.0000]], grad_fn=<ReluBackward0>)

tensor([[-0.2666,  0.0640,  0.2471],
        [-0.6055, -0.0951,  0.0608],
        [-0.2297,  0.0512,  0.3325],
        [-1.4177, -0.6686, -0.4530],
        [-0.5100, -0.0886,  0.0436]], grad_fn=<AddmmBackward>)

在示例中,定义了一个名为 MyModel 的自定义模型类。在该类的 init 方法中,创建了一个 该类nn.ModuleList的实例 module_list,并添加了三个子模块:一个线性层(nn.Linear)、一个 ReLU 激活函数(nn.ReLU)和另一个线性层(这是在初始化类时一次添加的模块),当然还可以调用module_list.append(layername)来添加子模块。这些子模块将作为整个模型的一部分。

在模型的 forward 方法中,通过迭代 module_list 中的子模块,依次将输入数据 x 传递给它们,并获取最终的输出。

通过使用 nn.ModuleList,我们可以方便地管理模型中的多个子模块,并确保它们被正确地注册为模型的一部分。这使得模型的结构清晰可见,同时也方便了模型的训练和参数优化。

相关推荐
卧式纯绿6 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95512 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网41 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
带娃的IT创业者44 分钟前
《Python实战进阶》No39:模型部署——TensorFlow Serving 与 ONNX
pytorch·python·tensorflow·持续部署
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
Bruce-li__1 小时前
深入理解Python asyncio:从入门到实战,掌握异步编程精髓
网络·数据库·python
九月镇灵将1 小时前
6.git项目实现变更拉取与上传
git·python·scrapy·scrapyd·gitpython·gerapy
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
小张学Python1 小时前
AI数字人Heygem:口播与唇形同步的福音,无需docker,无需配置环境,一键整合包来了
python·数字人·heygem