Pytorch代码入门学习之分类任务(三):定义损失函数与优化器

目录

一、定义损失函数

[1.1 代码](#1.1 代码)

[1.2 损失函数简介](#1.2 损失函数简介)

[1.3 交叉熵误差(cross entropy error)](#1.3 交叉熵误差(cross entropy error))

二、定义优化器

[2.1 代码](#2.1 代码)

[2.2 构造优化器](#2.2 构造优化器)

[2.3 随机梯度下降法(SGD)](#2.3 随机梯度下降法(SGD))


一、定义损失函数

1.1 代码

复制代码
criterion = nn.CrossEntropyLoss()

1.2 损失函数简介

神经网络的学习通过某个指标表示目前的状态,然后以这个指标为基准,寻找最优的权重参数。神经网络以某个指标为线索寻找最优权重参数,该指标称为损失函数 (loss function)。这个损失函数可以使用任意函数, 但一般用均方误差和交叉熵误差等。损失函数是表示神经网络性能的"恶劣程度"的指标,即当前的神经网络对监督数据在多大程度上不拟合、不一致。这个值越低,表示网络的学习效果越好。

但是,如果loss很低的话,可能出现过拟合现象。

过拟合是指训练出来的模型在训练集上表现得很好,但是在测试集上表现的较差,模型训练的误差远小于它在测试集上的误差。

1.3交叉熵误差(cross entropy error)

交叉熵误差如下式所示:

其中,log表示以e为底数的自然对数(log e );yk指神经网络的输出,tk是正确解标签。并且,tk中只有正确解标签的索引为1,其他均为0(one-hot表示)。 因此,上式实际上只计算对应正确解标签的输出的自然对数。比如,假设正确解标签的索引是"2",与之对应的神经网络的输出是0.6,则交叉熵误差 是−log 0.6 = 0.51;若"2"对应的输出是0.1,则交叉熵误差为−log 0.1 = 2.30。因此,交叉熵误差的值是由正确解标签所对应的输出结果决定的。

交叉熵误差函数需要两个参数,第一个是输入参数 (预测值),第二个是正确值

二、定义优化器

2.1 代码

复制代码
import torch.optim as optim
optimizer = optim.SGD(net.parameters(),lr=0.001,momentum=0.9)

2.2 构造优化器

**optimizer = optim.SGD(net.parameters(),lr=0.001,momentum=0.9):**第一个参数是需要更新的参数,第二个参数是指学习率(指每次更新学习率下降的大小),第三个参数为动量;

2.3 随机梯度下降法(SGD)

用数学式子可以把SGD写为如下的式:

其中,W记为需要更新的权重参数,是指损失函数关于W的梯度,表示学习率,一般情况下会取为0.01或0.001这类事先决定好的值。式子中的"箭头"表示用右边的值更新左边的值。

SGD较为简单,且容易实现,但是在解决某些问题时可能没有效率。SGD是朝着梯度方向只前进一定距离的简单方法,且梯度的方法并没有指向最小值的方向。

参考:004 第一个分类任务2_哔哩哔哩_bilibili

相关推荐
面朝大海,春不暖,花不开10 分钟前
使用 Python 正则表达式实现文本替换与电话号码规范化
python·mysql·正则表达式
淘小白_TXB219611 分钟前
Python网页自动化Selenium中文文档
python·selenium·自动化·网页自动化
Clair-Sean32 分钟前
【JavaSE】多线程基础学习笔记
笔记·python·学习
moxiaoran57531 小时前
uni-app学习笔记三十四--刷新和回到顶部的实现
笔记·学习·uni-app
不做无法实现的梦~2 小时前
rm视觉学习1-自瞄部分
学习
EverBule2 小时前
Python 训练 day46
开发语言·python
WangY_ZQ2 小时前
Python 如何在Python 3.6上安装PIP
linux·python·pip
꧁坚持很酷꧂2 小时前
FreeRTOS学习02_任务管理
stm32·学习
聚客AI2 小时前
系统掌握PyTorch:图解张量、Autograd、DataLoader、nn.Module与实战模型
人工智能·pytorch·python·rnn·神经网络·机器学习·自然语言处理
狮子也疯狂2 小时前
基于Python的气象数据分析及可视化研究
python·信息可视化·数据分析