pytorch 之 nn 库与调试

系列文章目录


文章目录

  • 系列文章目录
  • [一、torch.nn 库](#一、torch.nn 库)
    • [1. nn.Parameter](#1. nn.Parameter)
    • [2. 基于nn.Moduel 的接口](#2. 基于nn.Moduel 的接口)
    • [3. nn.functional](#3. nn.functional)
    • 4.nn.Sequential
  • 二、调式visdom
    • [1. vidom 功能简介](#1. vidom 功能简介)
    • [2. visdom 安装](#2. visdom 安装)
    • [visdom 简单编程](#visdom 简单编程)
    • [三、tensorboardX 数据可视化工具](#三、tensorboardX 数据可视化工具)


一、torch.nn 库

  • torch.nn 是专门为神经网络设计的接口
  • torch.nn 构建于 autograd 之上,可以用来定义和构建神经网络。
    五个常用的函数:
    nn.Patameter
    nn.Linear & nn.cov2d
    nn.functional
    nn.Model
    nn.Sequential

1. nn.Parameter

该接口来定义可训练参数:

  • self.my_param = nn.Parameter(torch.randn(1)) 定义和初始化参数
  • self.register_parameter 注册可训练参数,效果一致
  • nn.ParameterList & nn.ParameterDict 使用列表或者字典来定义多个可训练的参数。
python 复制代码
import torch
from torch import nn

self.paramas = nn.ParameterList([nn.Parameter(torch.randn(10,10)) for i in range(10)])

self.grads = nn.ParameterDisct({
    'left': nn.Parameter(torch.randn(5,10)),
    'right': nn.Parameter(torch.randn(5.10))
})

列表和字典与我们Python定义的数据结构是一样的。

2. 基于nn.Moduel 的接口

nn.Linear & nn.conv2d & nn.ReLU & nn.MaxPool2d() & nn.MESLoos这些函数都基于 nn.Module,实现了前向传播和后向传播,我们直接调用就行,非常省事

  • 各种神经网络层的定义,基于 nn.Module 的子类
    • self.conv1 = nn.Conv2d(1,6,(5,5)) 定义一个卷积类,初始化卷积的具体参数。
    • 调用时 self.conv1(x) 调用这个卷积类,进行一次卷积操作,前向运算。
  • 定义网络层,参数为Parameter 类型,也叫可训练类型的参数:
    • lay = nn.Linear(1,1)
    • lay.weight = nn.Parameter(torch.FloatTensor([[0]]))
    • lay.bias = nn.Parameter(torch.FloatTensor([0]))

3. nn.functional

包含 torch.nn 库中所有的函数,包含大量的 Loss 和 activation function:

  • nn.functional.conv2d(input,weight,bias = None,Stride = 1,padding = 0,dialtion = 1,groups = 1) 这个是函数,不是类,与上面有本质的区别
  • nn.functional.xx 本质上就是一个函数接口,无法和 nn.Sequential 结合使用。没有学习参数使用 nn.xx 和 nn.functional.xx 都可以,有学习参数就建议使用 nn.xx.
  • 特别注意 DropOut 层。

4.nn.Sequential

作用就是把层次给串联起来,形成一个模型

python 复制代码
# Example of use Sequential
model = nn.Sequential(
    nn.Conv2d(1, 5, 10),
    nn.ReLU(),
    nn.Conv2d(1, 5, 10),
    nn.ReLU(),
)

# Example of using Sequential with OrderedDict
model1 = nn.Sequential(OrderedDict([
    ('conv1', nn.Conv2d(1, 5, 10)),
    ('relu1':nn.ReLu()),
    ('conv2', nn.Conv2d(20, 64, 5)),
    ('relu2':nn.ReLu())
]))

二、调式visdom

1. vidom 功能简介

visdom 主要应用于我们展示神经网络运行的中间过程,一些中间结果,检测结果的变化过程可视化等等。我们可以将 visdom 理解成一个库:

  • 支持数值、文本、视频等可视化。
  • 支持 pyotorch、torch、numpy

图1 例举了数据可视化的一些图表,通过这些可视化的图表,我们可以更加直观的看出数据的变化规律,看起来就很专业。
图 1 数据可视化

2. visdom 安装

安装:

pip install visdom

启动服务:

python -m visdom.server

visdom 简单编程

python 复制代码
import visdom
import numpy as np
vis = visdom.Visdom()
vis.text("hello,四川兔兔")
vis.image(np.ones((3,10,10)))

具体的实例展示,在搭建神经网络章节,后面会完善这篇文章。

三、tensorboardX 数据可视化工具

这个工具是基于tensorboard,专门用于pytorch的数据可视化:

1.支持 scalar, image, figure, histogram, audio, text, graph等等不同的可视化展示方式

  1. 安装:pip install tensorboardX

最后如果本文有帮助,帮我点击小店吧,浏览下就行,谢谢朋友们。

相关推荐
Edward-tan6 分钟前
CCPD 车牌数据集提取标注,并转为标准 YOLO 格式
python
老胖闲聊21 分钟前
Python I/O 库【输入输出】全面详解
开发语言·python
潘达斯奈基~30 分钟前
大模型的Temperature、Top-P、Top-K、Greedy Search、Beem Search
人工智能·aigc
倔强青铜三40 分钟前
苦练Python第18天:Python异常处理锦囊
人工智能·python·面试
倔强青铜三1 小时前
苦练Python第17天:你必须掌握的Python内置函数
人工智能·python·面试
Lifeng666666661 小时前
chatgpt是怎么诞生的,详解GPT1到GPT4的演化之路及相关背景知识
论文阅读·人工智能·语言模型·chatgpt
迷路爸爸1801 小时前
让 VSCode 调试器像 PyCharm 一样显示 Tensor Shape、变量形状、变量长度、维度信息
ide·vscode·python·pycharm·debug·调试
vv_5011 小时前
深度学习 tensor及其相关操作
人工智能·深度学习·tensor基础操作
whabc1001 小时前
和鲸社区深度学习基础训练营2025年关卡2(1)纯numpy
人工智能·深度学习
PengShuaiD51 小时前
什么是RAG(Retrieval-Augmented Generation)?一文读懂检索增强生成
人工智能·ai·rag