PyTorch中nn-XXX与F-XXX的区别

header-files2023-08-08 23:16

nn.XXX与F.XXX

PyTorch中torch.nn**（以下简写为nn）中的模块和torch.nn.functional（以下简写为F）**中的模块都提供了常用的神经网络操作，包括激活函数、损失函数、池化操作等。它们的主要区别如下：

nn中的模块是以类形式存在的；F中的模块是以函数形式存在的
nn中的模块是nn.Module的子类，包含可学习参数、可导，在反向传播中可以计算梯度，可以在模型中作为子模块使用；F中的模块是纯函数，没有与之相关联的可学习参数，虽然也可以用于反向传播，但是其梯度需要手动计算
nn中的模块需要实例化后，将张量作为实例的调用参数；F中的模块直接传递张量作为参数
nn中的模块可以管理和访问模块的内部参数和状态；F中的函数是纯函数，没有与之相关联的参数或状态，因此无法直接管理和访问函数的内部状态

以激活函数ReLu为例，在使用激活函数时，有以下两种方式可以使用：

python 复制代码

# 方法一
nn.ReLU()
# 方法二
F.relu(input)

这两种方法都是使用ReLu激活，但使用的场景不一样。

nn.ReLU是一个类，必须实例化后才能使用，一般在定义网络层的时候使用

python 复制代码

# nn.ReLU的常用方法
nn.Sequential(
            nn.Conv2d(in_channels, out_channels),
            nn.ReLU(inplace=True)
        )

另外：