神经网络——优化器

1.优化器介绍:

优化器集中在torch.optim中。

  • Constructing it
python 复制代码
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr=0.0001)
  • Taking an optimization step
python 复制代码
for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()

2.代码实战:

python 复制代码
import torch
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.data import DataLoader

dataset=torchvision.datasets.CIFAR10("data",train=False,transform=torchvision.transforms.ToTensor(),
                                     download=True)

#每个批次中加载的数据项数量
dataloader=DataLoader(dataset,batch_size=1)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()

        self.model1=Sequential(
            Conv2d(3,32,5,padding=2),
            MaxPool2d(2),
            Conv2d(32,32,5,padding=2),
            MaxPool2d(2),
            Conv2d(32,64,5,padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024,64),
            Linear(64,10)
        )

    def forward(self, x):
        x=self.model1(x)
        return x

loss=nn.CrossEntropyLoss()
tudui=Tudui()

optim=torch.optim.SGD(tudui.parameters(),lr=0.01)

for epoch in range(20):
    running_loss=0.0
    for data in dataloader:
        imgs,targets = data
        outputs =tudui(imgs)
        result_loss=loss(outputs,targets)
        #清零
        optim.zero_grad()
        result_loss.backward()
        #调优
        optim.step()
        running_loss=running_loss+result_loss
    print(running_loss)

后面loss又升高,为反向优化

3.总结:

优化器的基本使用

  • 如果要知道各个优化器的详细用法
  • 需要对其有一定了解
  • 注意要多训练几轮
相关推荐
用户479492835691521 分钟前
mcp是怎么和大模型进行交互的,有哪些交互方式
前端·人工智能
WeiJingYu.22 分钟前
机器学习—逻辑回归
人工智能·机器学习·逻辑回归
AI导航猿34 分钟前
Manus 上线 Wide Research:别再用一个 AI 干活了,现在流行“数字打工团队”
人工智能
一直在努力的小宁36 分钟前
Diffuse and Disperse: Image Generation with Representation Regularization
大数据·人工智能·计算机视觉·diffuse
zl_vslam1 小时前
SLAM中的非线性优化-2D图优化之零空间实战(十六)
人工智能·算法·机器学习·计算机视觉·slam se2 非线性优化
SugarPPig1 小时前
(二)LoRA微调BERT:为何在单分类任务中表现优异,而在多分类任务中效果不佳?
人工智能·分类·bert
行然梦实1 小时前
TOPSIS(Technique for Order Preference by Similarity to Ideal Solution )简介与简单示例
人工智能·算法·机器学习·数学建模
机器觉醒时代1 小时前
具身智能VLA困于“数据泥潭”,人类活动视频数据是否是“破局之钥”?
人工智能·具身智能·vla模型
Godspeed Zhao1 小时前
自动驾驶中的传感器技术14——Camera(5)
人工智能·机器学习·自动驾驶·camera·摄像头
音视频牛哥1 小时前
智能感知的新入口:AIGC 与低延迟视频通路的深度融合
人工智能·计算机视觉·aigc·音视频·大牛直播sdk·aigc实时·aigc rtsp