PyTorch中nn-XXX与F-XXX的区别

nn.XXX与F.XXX

PyTorch中torch.nn**(以下简写为nn)中的模块和torch.nn.functional(以下简写为F)**中的模块都提供了常用的神经网络操作,包括激活函数、损失函数、池化操作等。它们的主要区别如下:

  • nn中的模块是以类形式存在的;F中的模块是以函数形式存在的
  • nn中的模块是nn.Module的子类,包含可学习参数、可导,在反向传播中可以计算梯度,可以在模型中作为子模块使用;F中的模块是纯函数,没有与之相关联的可学习参数,虽然也可以用于反向传播,但是其梯度需要手动计算
  • nn中的模块需要实例化后,将张量作为实例的调用参数;F中的模块直接传递张量作为参数
  • nn中的模块可以管理和访问模块的内部参数和状态;F中的函数是纯函数,没有与之相关联的参数或状态,因此无法直接管理和访问函数的内部状态

nn.Relu与F.relu()

以激活函数ReLu为例,在使用激活函数时,有以下两种方式可以使用:

python 复制代码
# 方法一
nn.ReLU()
# 方法二
F.relu(input)

这两种方法都是使用ReLu激活,但使用的场景不一样。

  • nn.ReLU是一个类,必须实例化后才能使用,一般在定义网络层的时候使用

    python 复制代码
    # nn.ReLU的常用方法
    nn.Sequential(
                nn.Conv2d(in_channels, out_channels),
                nn.ReLU(inplace=True)
            )
  • F.relu()是函数调用,一般使用在foreward()函数

  • nn.ReLU只能处理Variable类型的张量;而F.relu()可以处理Tensor和Variable类型的张量

  • nn.ReLU需要额外占用内存用来存储中间结果;而F.relu()则是直接在原张量上进行操作,不需要额外的内存占用

另外:

  • 当用print()打印输出神经网络时,会输出nn.ReLU()层,而F.relu()是没有输出的
相关推荐
零意@8 分钟前
ubuntu切换不同版本的python
windows·python·ubuntu
学术头条10 分钟前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
思忖小下19 分钟前
Python基础学习_01
python
孙同学要努力19 分钟前
《深度学习》——深度学习基础知识(全连接神经网络)
人工智能·深度学习·神经网络
q567315231 小时前
在 Bash 中获取 Python 模块变量列
开发语言·python·bash
是萝卜干呀1 小时前
Backend - Python 爬取网页数据并保存在Excel文件中
python·excel·table·xlwt·爬取网页数据
代码欢乐豆1 小时前
数据采集之selenium模拟登录
python·selenium·测试工具
喵~来学编程啦1 小时前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
狂奔solar1 小时前
yelp数据集上识别潜在的热门商家
开发语言·python
Tassel_YUE1 小时前
网络自动化04:python实现ACL匹配信息(主机与主机信息)
网络·python·自动化