深度学习-03 Pytorch

损失函数是用来衡量模型预测结果与真实值之间的差异,并用来优化模型的指标。在机器学习和神经网络中,常用的损失函数包括均方误差(Mean Squared Error,MSE)、交叉熵(Cross-Entropy)等。

反向传播(Backpropagation)是一种基于梯度下降算法的优化方法,用来计算模型中每个参数对于损失函数的梯度,从而更新参数以最小化损失函数。反向传播通过链式法则将损失函数的梯度传递回每个参数,从输出层向输入层反向计算梯度。具体而言,反向传播算法可以分为两个步骤:

前向传播(Forward Propagation):将输入数据通过模型的参数计算出预测值,并计算出损失函数的值。

反向传播(Backward Propagation):通过链式法则计算出损失函数对于每个参数的梯度,并更新参数。

反向传播的过程中,需要根据损失函数的类型来计算梯度。例如,对于均方误差损失函数,梯度的计算可以通过对每个参数的偏导数进行求解;对于交叉熵损失函数,梯度的计算可以通过softmax函数的导数进行求解。

反向传播算法的实现主要包括两个步骤:计算梯度和参数更新。在计算梯度时,通过对损失函数进行求导,得到每个参数的梯度;在参数更新时,根据梯度和学习率进行参数的更新。这个过程不断迭代,直到达到收敛条件或达到一定的迭代次数为止。

优化器是机器学习中一个重要的组件,用于调整模型的参数以使其最优化。在机器学习任务中,目标就是最小化或最大化一个特定的损失函数。优化器的作用就是通过调整模型的参数,使得损失函数的值最小化或最大化。

常见的优化器有梯度下降法(Gradient Descent)、随机梯度下降法(Stochastic Gradient Descent)、动量法(Momentum)、Nesterov Accelerated Gradient(NAG)、Adagrad、RMSprop、Adam等。

常见的Pytorch模型有:

1.线性回归模型(Linear Regression Model):用于拟合线性关系数据的模型。

2.逻辑回归模型(Logistic Regression Model):用于分类问题的模型。

3.多层感知机模型(Multi-Layer Perceptron Model):由多个全连接层组成的深度神经网络模型。

4.卷积神经网络模型(Convolutional Neural Network Model):用于处理图像和视觉数据的模型。

5.循环神经网络模型(Recurrent Neural Network Model):用于处理序列数据的模型。

6.长短期记忆网络模型(Long Short-Term Memory Model):一种循环神经网络的变种,用于处理长序列数据的模型。

7.生成对抗网络模型(Generative Adversarial Network Model):由生成器和判别器组成的模型,用于生成新的数据样本。

8.注意力机制模型(Attention Mechanism Model):用于处理序列数据的模型,通过对输入序列的不同部分赋予不同的注意权重来提升模型性能。

9.Transformer模型:基于注意力机制的模型,用于处理序列数据的模型,如自然语言处理任务中的机器翻译和文本生成等。

模型保存

python 复制代码
vgg16=torchvision.models.vgg16(pretrained=False)

# 保存方式一,保存模型结构+模型参数
torch.save(vgg16,"vgg16_method1.pth")

# 保存方式二,保存模型参数  (推荐)
torch.save(vgg16.state_dict(),"vgg16_method2.pth")




# 保存方式一:加载模型
model=torch.load("vgg16_method1.pth")

# 保存方式二:加载模型
vgg16=torchvision.models.vgg16(pretrained=False)
vgg16.load_state_dict()
model=torch.load("vgg16_method2.pth")
相关推荐
墨林陌8 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
byte轻骑兵8 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥8 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构
Purple Coder9 小时前
开题报告学习
人工智能
狂师9 小时前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试
金融小师妹10 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
ZhengEnCi10 小时前
中美AI竞赛之外其他国家在干什么:算力5%的欧洲、买卡的沙特与做场景的日韩
人工智能·gpu·nvidia
对你无可奈何18 小时前
给 ComfyUI 做了一个手机助手
人工智能
feasibility.19 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
智联视频超融合平台20 小时前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网