深度学习23:PyTorch:搭建神经网络测试(查看参数,模型结构和device设置)

目录标题

一、自定义模型

在神经网络框架中,由多个层组成的组件称之为 模块(Module)。

在 PyTorch 中模型就是一个 Module,各网络层、模块也是 Module。Module 是所有神经网络的基类。

在定义一个 Module 时,我们需要继承 torch.nn.Module 并主要实现两个方法:

__init__:定义网络各层的结构,并初始化参数。

forward:根据输入进行前向传播,并返回输出。计算其输出关于输入的梯度,可通过其反向传播函数进行访问(通常自动发生)。forward 方法是每次调用的具体实现。

接下来使用 PyTorch 实现下图的神经网络:

第 1 个隐藏层:使用 Xavier 正态分布初始化权重,激活函数使用 Tanh。

第 2 个隐藏层:使用 He 正态分布初始化权重,激活函数使用 ReLU。

输出层:按默认方式初始化,激活函数使用 Softmax。

二、代码

python 复制代码
import torch
import torch.nn as nn

#自定义神经网络类
class Model(nn.Module):
    #初始化
    def __init__(self):
        super().__init__()
        #定义三个线性层
        self.linear1 = nn.Linear(3,4)
        nn.init.xavier_normal_(self.linear1.weight)
        self.linear2 = nn.Linear(4,4)
        nn.init.kaiming_normal_(self.linear2.weight)
        self.out = nn.Linear(4,2)
    #前向传播
    def forward(self,x):
        x = self.linear1(x)
        x = torch.tanh(x)
        
        x = self.linear2(x)
        x = torch.relu(x)
        
        x = self.out(x)
        x = torch.softmax(x,dim=1)
        return x
    
#测试
# 1.定义输入数据
x = torch.randn(10,3)

# 2. 创建神经网络
model = Model()

# 3.前向传播
output = model(x)

print(f'神经网络输出为:{output}')

三、查看参数

方式一
python 复制代码
#查看参数 (逐个查看)
print(model.linear1.weight)
print(model.linear1.bias)
print(model.linear1.weight)
print(model.linear1.bias)
print(model.out.weight)
print(model.out.bias)
方式二
python 复制代码
#调用parameters,直接查看所有参数(输出看不到这些参数对应那些W ,b 等)
for param in model.parameters():
    print(param)
方式三
python 复制代码
#调用parameters,直接查看所有参数
for name,param in model.named_parameters():
    print(name,param)
方式四
python 复制代码
#调用state_dict,得到所有参数的字典表示
print(model.state_dict())

四、查看模型结构和参数数量

可使用 torchsummary.summary 来查看模型结构与参数数量。需要先安装 torchsummary 库:pip install torchsummary。

python 复制代码
 from torchsummary import summary
summary(model,input_size=(3,),batch_size=10,device='cpu')


第一个线性层w 3 * 4    param 里面算了 b 12(3*4) + 4 = 16
第二个线性层w 4 * 4    param 里面算了 b 16(4*4) + 4 = 20
第三个线性层w 4 * 2    param 里面算了 b 8(2*4) + 2 = 10


----------------------------------------------------------------
        Layer (type)               Output Shape         Param #
================================================================
            Linear-1                    [10, 4]              16
            Linear-2                    [10, 4]              20
            Linear-3                    [10, 2]              10
================================================================
Total params: 46
Trainable params: 46
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.00
Forward/backward pass size (MB): 0.00
Params size (MB): 0.00
Estimated Total Size (MB): 0.00
----------------------------------------------------------------

五、device

python 复制代码
input = torch.randn(1,5)
print(input.device)

cpu


input = torch.randn(1,5,device='cuda')
print(input.device)
#我台式没有显卡,报错
AssertionError: Torch not compiled with CUDA enabled

#定义完再修改设备
input.to(device='cuda')


#设置全局变量
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
device = 'cuda' if torch.cuda.is_available() else 'cpu'
print(device)
相关推荐
罗西的思考15 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
Be for thing19 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
tellmewhoisi1 天前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
谙弆悕博士1 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
咕泡科技1 天前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
电科_银尘2 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
猿人谷2 天前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
泓博2 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
在所不辞兄2 天前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
jay神2 天前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计