神经网络学习5-非线性激活

非线性激活,即

这是最常用的

inplace=True 原位操作 改变变量本身的值,就是是否输入时若原本有值,是否更换

该函数就是表示:输入小于零时输出0,大于零时保持不变

代码如下:

c 复制代码
import torch
from torch import  nn
from torch.nn import ReLU

input=torch.tensor([[1,-0.5],[-1,3]])
input=torch.reshape(input,(-1,1,2,2))
print(input.shape)
class Tudui(nn.Module):
    def __init__(self) -> None:
        super(Tudui, self).__init__()
        self.relu1=ReLU()

    def forward(self,input):
        output=self.relu1(input)
        return output

tudui=Tudui()
output=tudui(input)
print(output)

非线性激活的作用就是引入非线性,

非线性激活函数(Non-linear Activation Function)是神经网络中的一个重要组成部分。它们被应用于每个神经元的输出,以引入非线性特性。具体来说,非线性激活函数将神经元的线性组合(即加权和加上偏置)转化为非线性输出。

引入非线性特性:没有非线性激活函数的神经网络只能表达线性关系,无论网络有多少层。通过引入非线性,神经网络可以处理复杂的非线性问题,从而能够逼近任何连续的函数。

增加模型的表达能力:非线性激活函数使得多层网络具有更强的表达能力,可以拟合复杂的数据分布,解决复杂的任务,如图像识别、自然语言处理等。

使得深度学习变得可能:深度神经网络中的层数很多,如果每一层都只是线性的叠加,那么无论多少层,最终的模型还是一个线性模型。非线性激活函数使得每一层的输出变得不同,从而使深度学习成为可能。

c 复制代码
import torch
import torchvision
from torch import  nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

data_transform=torchvision.transforms.Compose(
    [torchvision.transforms.ToTensor()]
)
test_data=torchvision.datasets.CIFAR10('./dataset',train=False,transform=data_transform,download=True)
dataloader=DataLoader(dataset=test_data,batch_size=64)
class Tudui(nn.Module):
    def __init__(self) -> None:
        super(Tudui, self).__init__()
        self.relu1=ReLU()
        self.sigmoid1=Sigmoid()

    def forward(self,input):
        output=self.sigmoid1(input)
        return output

writer=SummaryWriter('rules')

tudui=Tudui()
step=0
for data in dataloader:
    imgs,targets=data
    writer.add_images('input',imgs,step)
    output=tudui(imgs)
    writer.add_images('output', output, step)
    step=step+1

writer.close()
相关推荐
YKPG3 分钟前
C++学习-入门到精通【17】自定义的模板化数据结构
数据结构·c++·学习
说私域5 分钟前
基于开源AI智能名片链动2 + 1模式S2B2C商城小程序的沉浸式体验营销研究
人工智能·小程序·开源·零售
156995 分钟前
大语言模型原理与书生大模型提示词工程实践-学习笔记
笔记·学习·语言模型
亚马逊云开发者13 分钟前
飞书多维表格利用 Amazon Bedrock AI 能力赋能业务
人工智能
阿部多瑞 ABU20 分钟前
# 主流大语言模型安全性测试(二):英文越狱提示词下的表现与分析
人工智能·安全·ai·语言模型·自然语言处理·安全性测试
小天才才1 小时前
【大模型】解耦大语言模型中的记忆与推理能力
人工智能·深度学习·语言模型·自然语言处理
AI大模型学习教程1 小时前
前端学AI之LangChain.js入门教程:实现智能对话机器人
人工智能·langchain
Java中文社群1 小时前
超实用!手把手教你Dify版本升级
人工智能·后端
奔跑吧邓邓子1 小时前
DeepSeek 技术赋能无人农场协同作业:用 AI 重构农田管理 “神经网”
人工智能·deepseek·无人农场·协同作业·农田管理·神经网
面朝大海,春不暖,花不开1 小时前
Spring AI与Spring Modulith核心技术解析
人工智能·spring·flask