【pytorch学习】土堆pytorch学习笔记2

说明

主要以https://www.morinha.cc/posts/courses/pytorch-小土堆的内容为基础,没有的或者自己不是很清楚的再补充上内容,该贴有的内容大部分不再加入进来

新增的更全的参考:

https://2048.csdn.net/6801fc28e98581517972bb50.html

卷积操作--torch.nn.function

卷积分为不同的层,如con1、con2等

以二层卷积为例,具体的参数可查看官方文档

卷积操作主要就是用卷积核(weight)与原始数据进行计算,再加上其他的操作,最后得到一个新的输出

代码示例:

output3 = F.conv2d(input, kernel, stride=1, padding=1)

print(output3)

output3 就是 卷积神经网络模型计算后的 输出,

input是输入的数据,在此为一个二维数组,代表一张图片

kernel表示卷积核,同input形状,也是一个二维数组,并且两者的形状都要有四个维度,否则要进行reshape

stride表示步长

padding表示周围填充几层,填充的默认值是0

输入维度要求

注意要求输入的要求:(批大小,通道数,高,宽)

神经网络--卷积层(torch.nn.conv)

其实就是对nn.function的进一步封装

如nn.Conv2d(),最常用的是这五个参数:in_channels、 out_channels、kernel_size、stride、 padding

实例:

#在初始化方法中定义进行卷积操作

self.conv1 = Conv2d(in_channels=3, out_channels=6, kernel_size=3, stride=1, padding=0)

in_channels=3:三通道输入(彩色图片)

out_channels=6:输出是六通道(6层),即生成6个卷积核

kernel_size=3:每个卷积核的维度是3*3

stride=1:步长为1,卷积核中心移动的步长

padding=0:不进行填充

PYTHON 复制代码
import torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
from urllib3.filepost import writer

datset = torchvision.datasets.CIFAR10("data",
                                      train=False,
                                      transform=torchvision.transforms.ToTensor(),
                                      download=True)

dataloader = DataLoader(datset, batch_size=64)


class Tudui(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels=3, out_channels=6,
                               kernel_size=3,
                               stride=1, padding=0)

    def forward(self, x):
        x = self.conv1(x)
        return x


tudui = Tudui()
# print(tudui)

writer = SummaryWriter("logs")
step = 0
for data in dataloader:
    if step == 1:
        break
    imgs, targets = data
    output = tudui(imgs)  # torch.Size([64, 6, 30, 30])
    # print(imgs.shape)
    # print(output.shape)
    writer.add_images("input", imgs, step)  # torch.Size([64, 3, 32, 32])
    # 第一个值不知道写什么所以写的-1,会自动调整
    output = torch.reshape(output, (-1, 3, 30, 30))
    print(output.shape)  # 调整后变成了torch.Size([128, 3, 30, 30])
    writer.add_images("output", output, step)  
    step = step + 1

writer.close()

池化

最大池化层的步长默认大小为kernel_size

ceil 允许有出界部分;floor 不允许.ceil_mode =True时 为ceil

python 复制代码
nn.MaxPool2d(kernel_size=3,ceil_mode=False) 

非线性激活(Non-linear Activations)

非线性变换的主要目的就是给网中加入一些非线性特征,

非线性越多才能训练出符合各种特征的模型。常见的非线性激活:

ReLU:主要是对小于0的进行截断(将小于0的变为0),图像变换效果不明显

主要参数是inplace:

inplace为真时,将处理后的结果赋值给原来的参数;为假时,原值不会改变。

SIGMOID: 归一化处理

效果没有ReLU好,但对于多分类问题,必须采用sigmoid

相关推荐
Brookty2 小时前
深入解析Java类加载与实例化流程
java·开发语言·学习
Broken Arrows2 小时前
k8s学习(一)——kubernetes重要基础概念概述
学习·容器·kubernetes
straw_hat.2 小时前
PCB学习——STM32F103VET6-STM32接口部分
stm32·嵌入式硬件·学习
丰锋ff2 小时前
2021 年真题配套词汇单词笔记(考研真相)
笔记
悠哉悠哉愿意2 小时前
【数据结构与算法学习笔记】双指针
数据结构·笔记·python·学习·算法
ouliten2 小时前
cuda编程笔记(24)-- Global Memory之间的拷贝
笔记·cuda
常州晟凯电子科技4 小时前
君正T32开发笔记之IVSP版本环境搭建和编译
人工智能·笔记·物联网
Francek Chen4 小时前
【深度学习计算机视觉】09:语义分割和数据集
人工智能·pytorch·深度学习·计算机视觉·数据集·语义分割
charlie1145141914 小时前
Windows 10系统编程——进程专题:枚举我们进程的状态
c++·windows·学习·操作系统·进程
sealaugh324 小时前
AI(学习笔记第九课) 使用langchain的MultiQueryRetriever和indexing
人工智能·笔记·学习