PyTorch入门学习(十):神经网络-非线性激活

目录

一、简介

二、常见的非线性激活函数

三、实现非线性激活函数

四、示例:应用非线性激活函数


一、简介

在神经网络中,激活函数的主要目的是引入非线性特性,从而使网络能够对非线性数据建模。如果只使用线性变换,那么整个神经网络就会退化为一个线性模型,因为线性函数的组合仍然是线性的。非线性激活函数通过引入非线性性质,使神经网络能够适应更复杂的数据。

二、常见的非线性激活函数

ReLU(Rectified Linear Unit)

ReLU 是一种广泛使用的非线性激活函数。它的数学表达式如下:

css 复制代码
f(x) = max(0, x)

ReLU 将小于零的输入值设为零,而大于零的输入值保持不变。这种性质使得神经网络能够学习到稀疏特征,加速训练,以及更好地处理梯度消失问题。在 PyTorch 中,可以使用 torch.nn.ReLU() 实现 ReLU 激活。

Sigmoid 函数

Sigmoid 函数是另一种非线性激活函数,它的数学表达式如下:

css 复制代码
f(x) = 1 / (1 + exp(-x))

Sigmoid 函数将输入值映射到 0 到 1 之间,它在二元分类问题中广泛使用。然而,Sigmoid 函数在深度神经网络中容易出现梯度消失问题。在 PyTorch 中,可以使用 torch.nn.Sigmoid() 实现 Sigmoid 激活。

三、实现非线性激活函数

在 PyTorch 中,实现非线性激活函数非常简单。首先定义一个继承自 nn.Module 的类,然后在 forward 方法中应用所需的激活函数。下面是一个使用 ReLU 和 Sigmoid 激活函数的示例:

python 复制代码
import torch
from torch import nn
from torch.nn import ReLU, Sigmoid

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init()
        self.relu = ReLU()
        self.sigmoid = Sigmoid()

    def forward(self, x):
        x_relu = self.relu(x)
        x_sigmoid = self.sigmoid(x)
        return x_relu, x_sigmoid

在上面的示例中,首先导入必要的库,然后定义了一个自定义模型 MyModel,它包含了 ReLU 和 Sigmoid 激活函数。在 forward 方法中,分别应用了这两个激活函数。

四、示例:应用非线性激活函数

下面将看到一个具体的示例,把非线性激活函数应用于图像数据。然后使用 PyTorch 和 CIFAR-10 数据集,这是一个广泛使用的图像分类数据集。最后使用 ReLU 和 Sigmoid 激活函数,并使用 TensorBoard 可视化结果。

python 复制代码
import torch
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.tensorboard import SummaryWriter
from torch.utils.data import DataLoader
import torchvision.datasets

# 加载 CIFAR-10 数据集
dataset = torchvision.datasets.CIFAR10("D:\\Python_Project\\pytorch\\dataset2", train=False, transform=torchvision.transforms.ToTensor(), download=True)
dataloader = DataLoader(dataset, batch_size=64)

# 定义自定义模型
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.relu = ReLU()
        self.sigmoid = Sigmoid()

    def forward(self, x):
        x_relu = self.relu(x)
        x_sigmoid = self.sigmoid(x)
        return x_relu, x_sigmoid

# 创建模型实例和 TensorBoard 编写器
model = MyModel()
writer = SummaryWriter("logs")
step = 0

# 遍历数据集并应用模型
for data in dataloader:
    imgs, targets = data
    output_relu, output_sigmoid = model(imgs)
    writer.add_images("input", imgs, step)
    writer.add_images("output_relu", output_relu, step)
    writer.add_images("output_sigmoid", output_sigmoid, step)
    step += 1

writer.close()

在上面的示例中,首先加载 CIFAR-10 数据集,然后定义了一个自定义模型 MyModel,其中包含了 ReLU 和 Sigmoid 激活函数。遍历数据集,将输入图像和经过激活函数处理后的输出图像写入 TensorBoard,以便进行可视化。

通过这个示例,可以看到非线性激活函数如何改变输入数据,引入非线性特性,从而增强神经网络的建模能力。

参考资料:

视频教程:PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】

相关推荐
爱写代码的小朋友9 分钟前
生成式人工智能对学习生态的重构:从“辅助工具”到“依赖风险”的平衡难题
人工智能·学习·重构
澄澈i19 分钟前
设计模式学习[20]---桥接模式
c++·学习·设计模式·桥接模式
却道天凉_好个秋30 分钟前
深度学习(十七):全批量梯度下降 (BGD)、随机梯度下降 (SGD) 和小批量梯度下降 (MBGD)
人工智能·深度学习·梯度下降
A9better36 分钟前
嵌入式开发学习日志35——stm32之超声波测距
stm32·单片机·嵌入式硬件·学习
青衫码上行43 分钟前
【从0开始学习Java | 第18篇】集合(下 - Map部分)
java·学习
_Power_Y2 小时前
MySql复习及面试题学习
数据库·学习·mysql
禁默3 小时前
机器学习基础入门(第四篇):无监督学习与聚类方法
学习·机器学习·聚类
AI数据皮皮侠3 小时前
中国地级市旅游人数、收入数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习·旅游
mooooon L3 小时前
DAY 43 复习日-2025.10.7
人工智能·pytorch·python·深度学习·神经网络
Le1Yu3 小时前
2025-10-6学习笔记
java·笔记·学习