Pytorch学习整理笔记(二)

文章目录


损失函数与反向传播

常见的损失函数:
nn.L1Loss简单的做差值,nn.MSELoss平方差,nn.CrossEntropyLoss交叉熵见下图

py 复制代码
import torch
from torch.nn import L1Loss, MSELoss, CrossEntropyLoss

inputs = torch.tensor([1, 2, 3], dtype=torch.float32)
target = torch.tensor([1, 2, 5], dtype=torch.float32)

loss = L1Loss()  # 计算差值的绝对值之和 的 均值(默认,可修改reduction)
result = loss(inputs, target)
print(result)  # tensor(0.6667)


# 平方差
loss_mse = MSELoss()
result_mse = loss_mse(inputs, target)
print(result_mse)

# 交叉熵------分类问题
x = torch.tensor([0.1, 0.2, 0.3])  # 预测输出的概率
y = torch.tensor([1])  # 真实的下标数据
# 调整数据格式(N, C)
x = torch.reshape(x, (1, 3))
loss_cross = CrossEntropyLoss()
result_cross = loss_cross(x, y)
print(result_cross)

输出:

cpp 复制代码
tensor(0.6667)
tensor(1.3333)
tensor(1.1019)

具体使用:

py 复制代码
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader

dataset = torchvision.datasets.CIFAR10("./data", train=False,
                                       transform=torchvision.transforms.ToTensor(),
                                       download=True)
dataloader = DataLoader(dataset, batch_size=1)


class NN(nn.Module):
    def __init__(self):
        super(NN, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, kernel_size=5, stride=1, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, kernel_size=5, stride=1, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, kernel_size=5, stride=1, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self, x):
        x = self.model1(x)
        return x


loss = nn.CrossEntropyLoss()
nnn = NN()
for data in dataloader:
    imgs, targets = data
    outputs = nnn(imgs)
    result_loss = loss(outputs, targets)
    # result_loss.backward()  # 是对求出来的loss求梯度gard 对应的参数
    print(result_loss)

优化器

官方文档:https://pytorch.org/docs/stable/optim.html

主要搭配我们的反向传播backward()进行使用
params:传入的模型参数
lr参数:学习速率

py 复制代码
import torch.optim
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader

dataset = torchvision.datasets.CIFAR10("./data", train=False,
                                       transform=torchvision.transforms.ToTensor(),
                                       download=True)
dataloader = DataLoader(dataset, batch_size=1)


class NN(nn.Module):
    def __init__(self):
        super(NN, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, kernel_size=5, stride=1, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, kernel_size=5, stride=1, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, kernel_size=5, stride=1, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self, x):
        x = self.model1(x)
        return x


loss = nn.CrossEntropyLoss()
nnn = NN()
optim = torch.optim.SGD(params=nnn.parameters(), lr=0.01)  # 随机梯度下降优化器
for epoch in range(20):  # 多轮学习训练
    running_loss = 0.0
    for data in dataloader:
        imgs, targets = data
        outputs = nnn(imgs)
        result_loss = loss(outputs, targets)
        optim.zero_grad()  # 梯度清0
        result_loss.backward()  # 反向传播
        optim.step()  # 对参数进行调优
        running_loss += result_loss
    print(running_loss)

VGG模型使用与修改

https://pytorch.org/vision/stable/models.html

提前安装scipy 包,在anaconda所在的环境下

cpp 复制代码
pip install scipy -i https://pypi.tuna.tsinghua.edu.cn/simple/

数据集太大,暂时放弃测试

补充如何修改原有的torchvision.models里面的模型

cpp 复制代码
import torchvision.datasets
from torch import nn
vgg16 = torchvision.models.vgg16(weights=None)

# print(vgg16)

# vgg16.classifier.add_module("add_linear", nn.Linear(1000, 10))  # classifier层添加一个线性处理
vgg16.classifier[6] = nn.Linear(4096, 10)  # 将classifier层的下标为6的处理进行修改

print(vgg16)

vgg模型原有的架构:
添加线性层
修改原有的层:


模型保存与读取

方式1:
方式2:
具体代码:

保存

py 复制代码
import torch
import torchvision.models

vgg16 = torchvision.models.vgg16(weights=None)  # weights=("pretrained") 默认参数是经过训练的

#  保存1 : 网络模型结构+参数
# torch.save(vgg16, "vgg16_method1.pth")

#  保存2: 网络结构的参数保存成字典state_dict,只保存了参数
torch.save(vgg16.state_dict(), "vgg16_method2.pth")

读取:

py 复制代码
import torch
import torchvision.models

# 与保存1对应的读取
# model = torch.load("vgg16_method1.pth")
# print(model)

# 与保存2对应:需要先恢复网络结构
vgg16 = torchvision.models.vgg16(weights=None)
vgg16.load_state_dict(torch.load("vgg16_method2.pth"))  # 加载保存的字典
# model = torch.load("vgg16_method2.pth")
print(vgg16)

保存2是官方推荐的,保存1虽然同时保存了网络结构和参数,但有时存在一定问题,如下:

py 复制代码
import torch
from torch import nn

class NNN(nn.Module):
    def __init__(self):
        super(NNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3)

    def forward(self, x):
        x = self.conv1(x)
        return x


nnn = NNN()
torch.save(nnn, "NNN_method1.pth")

读取时会报错:这个结构不存在
引入这个结构才能正常运行:


相关推荐
子燕若水40 分钟前
Unreal Engine 5中的AI知识
人工智能
极限实验室2 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿2 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫2 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手2 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记2 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元3 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术3 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
烛阴3 小时前
简单入门Python装饰器
前端·python