PyTorch入门学习(十四):优化器

目录

一、优化器的重要性

[二、PyTorch 中的深度学习](#二、PyTorch 中的深度学习)

三、优化器的选择


一、优化器的重要性

深度学习模型通常包含大量的参数,因此训练过程涉及到优化这些参数以减小损失函数的值。这个过程类似于找到函数的最小值,但由于模型通常非常复杂,所以需要依赖数值优化算法,即优化器。优化器的任务是调整模型参数,以最小化损失函数,从而提高模型的性能。

二、PyTorch 中的深度学习

PyTorch 是一个流行的深度学习框架,它提供了广泛的工具和库,用于创建、训练和部署深度学习模型。下面我们将通过一个简单的示例来了解如何使用 PyTorch 构建一个图像分类模型并训练它。

python 复制代码
import torch
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader

# 加载 CIFAR-10 数据集
dataset = torchvision.datasets.CIFAR10(root="D:\\Python_Project\\pytorch\\dataset2", train=False, transform=torchvision.transforms.ToTensor(), download=True)
dataloader = DataLoader(dataset=dataset, batch_size=1)

# 定义一个简单的神经网络模型
class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10),
        )

    def forward(self, x):
        x = self.model1(x)
        return x

tudui = Tudui()

# 使用交叉熵损失函数
loss_cross = nn.CrossEntropyLoss()

# 使用随机梯度下降(SGD)优化器
optim = torch.optim.SGD(tudui.parameters(), lr=0.01)

# 训练模型
for epoch in range(20):
    running_loss = 0.0
    for data in dataloader:
        imgs, labels = data
        outputs = tudui(imgs)
        results = loss_cross(outputs, labels)
        optim.zero_grad()
        results.backward()
        optim.step()
        running_loss = running_loss + results
    print(running_loss)

在上面的代码中,使用 PyTorch 创建了一个名为 Tudui 的神经网络模型,并使用 CIFAR-10 数据集进行训练。在训练过程中,使用了随机梯度下降(SGD)作为优化器来调整模型的参数,以降低交叉熵损失函数的值。

三、优化器的选择

在深度学习中,有多种不同类型的优化器可供选择,每种都有其独特的特点。常见的优化器包括随机梯度下降(SGD)、Adam、RMSprop 等。选择合适的优化器通常取决于具体问题的性质和模型的结构。在上述示例中,使用了SGD,但可以根据需要尝试不同的优化器,以找到最适合的问题的那一个。

参考资料:

视频教程:PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】

相关推荐
Chef_Chen2 分钟前
从0开始学习机器学习--Day14--如何优化神经网络的代价函数
神经网络·学习·机器学习
芊寻(嵌入式)12 分钟前
C转C++学习笔记--基础知识摘录总结
开发语言·c++·笔记·学习
学术头条39 分钟前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
孙同学要努力1 小时前
《深度学习》——深度学习基础知识(全连接神经网络)
人工智能·深度学习·神经网络
hong1616881 小时前
跨模态对齐与跨领域学习
学习
喵~来学编程啦1 小时前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
阿伟来咯~1 小时前
记录学习react的一些内容
javascript·学习·react.js
Suckerbin2 小时前
Hms?: 1渗透测试
学习·安全·网络安全
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
聪明的墨菲特i2 小时前
Python爬虫学习
爬虫·python·学习