说明
主要以https://www.morinha.cc/posts/courses/pytorch-小土堆的内容为基础,没有的或者自己不是很清楚的再补充上内容,该贴有的内容大部分不再加入进来
新增的更全的参考:
https://2048.csdn.net/6801fc28e98581517972bb50.html
卷积操作--torch.nn.function
卷积分为不同的层,如con1、con2等
以二层卷积为例,具体的参数可查看官方文档
卷积操作主要就是用卷积核(weight)与原始数据进行计算,再加上其他的操作,最后得到一个新的输出
代码示例:
output3 = F.conv2d(input, kernel, stride=1, padding=1)
print(output3)
output3 就是 卷积神经网络模型计算后的 输出,
input是输入的数据,在此为一个二维数组,代表一张图片
kernel表示卷积核,同input形状,也是一个二维数组,并且两者的形状都要有四个维度,否则要进行reshape
stride表示步长
padding表示周围填充几层,填充的默认值是0
输入维度要求
注意要求输入的要求:(批大小,通道数,高,宽)
神经网络--卷积层(torch.nn.conv)
其实就是对nn.function的进一步封装
如nn.Conv2d(),最常用的是这五个参数:in_channels、 out_channels、kernel_size、stride、 padding
实例:
#在初始化方法中定义进行卷积操作
self.conv1 = Conv2d(in_channels=3, out_channels=6, kernel_size=3, stride=1, padding=0)
in_channels=3:三通道输入(彩色图片)
out_channels=6:输出是六通道(6层),即生成6个卷积核
kernel_size=3:每个卷积核的维度是3*3
stride=1:步长为1,卷积核中心移动的步长
padding=0:不进行填充
PYTHON
import torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
from urllib3.filepost import writer
datset = torchvision.datasets.CIFAR10("data",
train=False,
transform=torchvision.transforms.ToTensor(),
download=True)
dataloader = DataLoader(datset, batch_size=64)
class Tudui(nn.Module):
def __init__(self):
super().__init__()
self.conv1 = nn.Conv2d(in_channels=3, out_channels=6,
kernel_size=3,
stride=1, padding=0)
def forward(self, x):
x = self.conv1(x)
return x
tudui = Tudui()
# print(tudui)
writer = SummaryWriter("logs")
step = 0
for data in dataloader:
if step == 1:
break
imgs, targets = data
output = tudui(imgs) # torch.Size([64, 6, 30, 30])
# print(imgs.shape)
# print(output.shape)
writer.add_images("input", imgs, step) # torch.Size([64, 3, 32, 32])
# 第一个值不知道写什么所以写的-1,会自动调整
output = torch.reshape(output, (-1, 3, 30, 30))
print(output.shape) # 调整后变成了torch.Size([128, 3, 30, 30])
writer.add_images("output", output, step)
step = step + 1
writer.close()
池化
最大池化层的步长默认大小为kernel_size
ceil 允许有出界部分;floor 不允许.ceil_mode =True时 为ceil
python
nn.MaxPool2d(kernel_size=3,ceil_mode=False)
非线性激活(Non-linear Activations)
非线性变换的主要目的就是给网中加入一些非线性特征,
非线性越多才能训练出符合各种特征的模型。常见的非线性激活:
ReLU:主要是对小于0的进行截断(将小于0的变为0),图像变换效果不明显
主要参数是inplace:
inplace为真时,将处理后的结果赋值给原来的参数;为假时,原值不会改变。
SIGMOID: 归一化处理
效果没有ReLU好,但对于多分类问题,必须采用sigmoid