pytorch学习笔记(十)

一、损失函数

举个例子

比如说根据Loss提供的信息知道,解答题太弱了,需要多训练训练这个模块。

Loss作用:1.算实际输出和目标之间的差距

2.为我们更新输出提供一定的依据(反向传播)

看官方文档

每个输入输出相减取平均取绝对值再取平均

第一个损失函数:L1Loss

(差的绝对值取平均)

需要注意输入输出

N=batch_size你有多少个数据

第一个损失函数:MSELoss

(平方差误差,平方取平均)

稳妥的写法是先引入nn,然后再找到MSEloss()这个方法,避免由于拼写出错而报错

二、交叉熵

算交叉熵一般都要soft-max的,和是1

这里的-x[class],只对目标分类计算,这里的目标分类class=1,因此-x[class]=-0.2

如果预测输出为[0.8,0.9,0.8]这种的预测概率很高又很接近的就不行,分类器的效果就不是很好。

为了让这部分比较大,只有当output和Target完全命中的时候,这一项就比较大,就是会相匹配。

Target的N是要求多少个batchsize,如实际的对哈士奇的分类,类别有三个,但是每次输入的图片只有一个也就是batchsize等于1。

另外,还需要注意:

输入必须是没有处理过的对每一类的得分。

以代码为例:

三、反向传播

利用上一次的的网络来说明

1.计算实际输出和目标之间的差距

DataLoader这边就是一个数据的加载,加载的目标数据是dataset,输入的batch_size为64

为了观察输出方便,将batch_size设置为1

图片输入进去有以下输出

target

分类问题可以用交叉熵误差

神经网络输出和真实输出的一个差距

2.为我们更新输出提供一定的依据(反向传播)

每个卷积的卷积核就需要调优的参数,给每个卷积核参数设置了一个grad(梯度),每一个节点(待更新参数)都会求出一个对应梯度,优化过程中针对这个梯度进行优化,最终实现整体loss最优。

以梯度下降法进行说明,

删除了反向传播之后,发现梯度不更新了

相关推荐
[H*]2 分钟前
鸿蒙跨端Flutter学习:InheritedWidget嵌套使用
学习·flutter
weixin_440730504 分钟前
02测试基础知识笔记
笔记
2501_941864964 分钟前
科学记忆法提升学习效率
学习
就叫飞六吧5 分钟前
Jenkins 流水线全流程实战笔记
笔记·servlet·jenkins
好奇龙猫8 分钟前
【日语学习-日语知识点小记-日本語体系構造-JLPT-N2前期阶段-第一阶段(4):单词语法】
学习
别了,李亚普诺夫15 分钟前
运算放大器的参数、选型与应用-学习笔记
笔记·学习
知识分享小能手24 分钟前
Oracle 19c入门学习教程,从入门到精通,PL/SQL 编程详解:语法、使用方法与综合案例(6)
sql·学习·oracle
richxu2025100127 分钟前
嵌入式学习之路->stm32篇-->(8)I2C通讯(上)
stm32·嵌入式硬件·学习
行业探路者33 分钟前
如何利用二维码提升富媒体展示的效果?
大数据·人工智能·学习·产品运营·软件工程
中屹指纹浏览器33 分钟前
指纹浏览器网络隔离与泄漏防护技术全解析——从架构设计到落地实践摘要
经验分享·笔记