非线性激活pytorch

**前置知识:

1、

复制代码
self.sigmoid1=Sigmoid()
复制代码
output=self.sigmoid1(input)

2、常见的非线性激活函数:

3、非线性激活的作用:

线性与非线性

  1. 线性函数:假设你用直线去描述波浪的形状。无论你怎么改变直线的斜率,结果都是一条直线,这样你就无法捕捉到波浪的起伏。这就像在神经网络中,如果只有线性激活函数,模型只能学习到线性关系,无法处理复杂的模式。

  2. 非线性激活函数:现在,想象你可以用曲线来描绘波浪。这条曲线能够随着波浪的起伏而变化,能够很好地展现出波浪的复杂形状。这就类似于引入了非线性激活函数(比如ReLU或Sigmoid)。通过这些激活函数,神经网络能够捕捉到复杂的特征和关系,比如图像中的边缘、纹理,或语音中的音调变化。

实际应用

举个实际例子,想象你在开发一个猫和狗的图像识别系统:

  • 没有非线性激活函数:你的模型只能识别简单的形状,比如直线和方形,它无法区分猫和狗,因为它无法理解它们的复杂特征。

  • 有非线性激活函数:引入非线性后,模型可以学习到猫的尖耳朵、圆眼睛和狗的扁鼻子等复杂特征。这使得模型能够更准确地识别猫和狗。

(即使用非线性激活,能在神经网络中引入非线性特征)

**代码:

input 导入并加载图像数据集------>nn 创建神经元------>output 计算并输出

(非线性激活是对矩阵里的数一个数一个数地进行转换;而池化里是用池化窗口来分块,一块一块地进行计算)

python 复制代码
import torch
import torchvision
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

test_set=torchvision.datasets.CIFAR10(root="./dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader=DataLoader(test_set,batch_size=64)

class Xigua(nn.Module):
    def __init__(self):
        super().__init__()
        self.relu_1=ReLU()
        self.sigmoid1=Sigmoid()

    def forward(self,input):
        output=self.sigmoid1(input)
        return output

xigua1=Xigua()


writer=SummaryWriter("logs2")
step=1
for imgs,targets in dataloader:
    print(imgs.shape)
    writer.add_images("input1",imgs,step)
    imgs=xigua1(imgs)
    print(imgs.shape)
    writer.add_images("output1",imgs,step)
    step=step+1
    if step>=3:
        break
writer.close()

# input=torch.tensor([
#     [1,-0.5],
#     [-1,3]
# ])
# output=xigua1(input)
# print(output)
相关推荐
阿里云大数据AI技术7 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和7 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷7 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
字节跳动开源7 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术7 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
code2cat8 小时前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
玄魂8 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何9 小时前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师9 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术9 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能