nn.XXX与F.XXX
PyTorch中torch.nn**（以下简写为nn）中的模块和torch.nn.functional（以下简写为F）**中的模块都提供了常用的神经网络操作，包括激活函数、损失函数、池化操作等。它们的主要区别如下：
- nn中的模块是以类形式存在的；F中的模块是以函数形式存在的
- nn中的模块是nn.Module的子类，包含可学习参数、可导，在反向传播中可以计算梯度，可以在模型中作为子模块使用；F中的模块是纯函数，没有与之相关联的可学习参数，虽然也可以用于反向传播，但是其梯度需要手动计算
- nn中的模块需要实例化后，将张量作为实例的调用参数；F中的模块直接传递张量作为参数
- nn中的模块可以管理和访问模块的内部参数和状态；F中的函数是纯函数，没有与之相关联的参数或状态，因此无法直接管理和访问函数的内部状态
nn.Relu与F.relu()
以激活函数ReLu为例，在使用激活函数时，有以下两种方式可以使用：
python
# 方法一
nn.ReLU()
# 方法二
F.relu(input)这两种方法都是使用ReLu激活，但使用的场景不一样。
-
nn.ReLU是一个类，必须实例化后才能使用，一般在定义网络层的时候使用
python# nn.ReLU的常用方法 nn.Sequential( nn.Conv2d(in_channels, out_channels), nn.ReLU(inplace=True) ) -
F.relu()是函数调用，一般使用在foreward()函数中
-
nn.ReLU只能处理Variable类型的张量；而F.relu()可以处理Tensor和Variable类型的张量
-
nn.ReLU需要额外占用内存用来存储中间结果；而F.relu()则是直接在原张量上进行操作，不需要额外的内存占用
另外：
- 当用print()打印输出神经网络时，会输出nn.ReLU()层，而F.relu()是没有输出的