最大池化、非线性激活、线性层

一、最大池化原理

二、最大池化实例

复制代码
import torch
import torchvision
from torch import nn
from torch.nn import MaxPool2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10("../chihua",train=False,
                               download=True,transform=torchvision.transforms.ToTensor()) # 对数据集的操作
dataloader = DataLoader(dataset,batch_size=64) # 加载数据集

构建最大池化神经网络:

复制代码
class SUN(nn.Module):
    def __init__(self):
        super(SUN, self).__init__()
        self.maxpool1 = MaxPool2d(kernel_size=3, ceil_mode=False)

    def forward(self, input):
        output = self.maxpool1(input)
        return output

sun = SUN()

使用tensorboard显示图片:

复制代码
writer = SummaryWriter("../logs_maxpool")
step = 0

for data in dataloader:
    imgs,targets = data
    writer.add_image("input", imgs,  step, dataformats="NCHW")# 注意输入的图片,可能出现数据类型的不匹配
    output = sun(imgs)
    writer.add_image("output", output, step, dataformats="NCHW") # 数据通道的设置
    step +=1

writer.close()

显示的结果:

池化的作用,减小了像素,但是对应的,变得更加模糊。

三、非线性激活

非线性激活的作用,就是主要是给模型加上一些非线性特征,非线性特征越多,才能训练出符合各种特征的模型,提高模型的泛化能力。

四、非线性激活的实例

复制代码
import torch
import torchvision
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

input = torch.tensor([[1,-0.5],
                      [-1,3]])
input = torch.reshape(input,(-1, 1, 2, 2))
print(input.shape)

dataset = torchvision.datasets.CIFAR10("../datas", train = False, download=True,
                                       transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset, batch_size=64)

class SUN(nn.Module):
    def __init__(self):
        super(SUN, self).__init__()
        self.relu1 = ReLU() # 添加对应的网络
        self.sigmoid = Sigmoid()

    def forward (self, input):
        output = self.sigmoid(input) # 使用了Sigmoid函数
        return output

sun = SUN()
step = 0
write = SummaryWriter("../logs_relu")
for data in dataloader:
    imgs,targets = data
    write.add_image("input", imgs, global_step=step)
   output = sun(imgs)
    write.add_image("output",output,global_step=step)
    step +=1

write.close()

结果

五、 线性层

主要作用是通过线性变换将输入数据映射到一个新的空间,改变数据的维度,便于后续层进一步处理。‌

六、线性层实例

复制代码
import torch
import torchvision
from torch import nn
from torch.nn import Linear
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10("../datalinear", train=False,
                                       transform=torchvision.transforms.ToTensor(), download=True)

dataloader = DataLoader(dataset, batch_size=64, drop_last=True)# 此处特别注意,要设置该参数,否则出现报错:
python 复制代码
RuntimeError: mat1 and mat2 shapes cannot be multiplied (1x49152 and 196608x10)
复制代码
class SUN(nn.Module):
    def __init__(self):
        super(SUN, self).__init__()
        self.linear1 = Linear(196608, 10)

    def forward(self,input):
        output = self.linear1(input)
        return output

sun = SUN()


# writer = SummaryWriter("../logslinear")
# step = 0

for data in dataloader:
    imgs, targets = data
    print(imgs.shape)
    # output = torch.reshape(imgs,(1, 1, 1, -1))
    # 展平
    output = torch.flatten(imgs)
    print(output.reshape)
    output = sun(output)
    print(output.shape)

结果:

将196608的in_future输出out_future变为10。

相关推荐
TomEval11 分钟前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill1 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
ZhengEnCi1 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿1 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方2 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI2 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
Thanks_ks2 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP2 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷3 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习