Pytorch学习--神经网络--非线性激活

一、用法

torch.nn.ReLU

图像处理中的应用：在图像处理任务中，ReLU 激活函数能够增强特征提取的能力，使网络更好地捕捉图像的细节和边缘。这是因为 ReLU 对大部分负数响应为零，能在一定程度上减少网络计算量，并对特征层起到稀疏化的效果，避免信息的过度平滑。

torch.nn.Sigmoid

图像处理中的应用：在图像分类或二分类的场景中，Sigmoid 是常用的激活函数。尤其是在图像分割的二值掩膜生成中，Sigmoid 可以用于二分类（例如前景与背景的划分），以确定每个像素属于前景或背景的概率。

二、代码实现

对于inplace的解释（ inplace 默认为 False）：

ReLU 的简单使用

python 复制代码

import torch
from torch import nn
from torch.nn import ReLU

input = torch.tensor([[-1,1],
                     [-0.5,5]])
input = torch.reshape(input,(1,1,2,2))


class Mary(nn.Module):
    def __init__(self):
        super(Mary,self).__init__()
        self.relu1 = ReLU()
    def forward(self,x):
        x = self.relu1(x)
        return x
Yorelee = Mary()

output = Yorelee(input)
print(output)

输出：

python 复制代码

tensor([[[[0., 1.],
          [0., 5.]]]])

Sigmoid 的简单使用

python 复制代码

import torch
import torchvision
from torch import nn
from torch.nn import Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10("datasets",False,torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset,64)

class Mary(nn.Module):
    def __init__(self):
        super(Mary,self).__init__()
        self.sigmoid1 = Sigmoid()
    def forward(self,x):
        x = self.sigmoid1(x)
        return x
Yorelee = Mary()

writer = SummaryWriter("logs")

step = 0
for data in dataloader:
    img,target = data
    writer.add_images("input",img,step)
    output = Yorelee(img)
    writer.add_images("output",output,step)
    step += 1
writer.close()

输出：