pytorch loss及其梯度

目录

  • 1.loss的种类
    • [1.1 MSE](#1.1 MSE)
    • [1.2 MSE推导](#1.2 MSE推导)
    • [1.3 autograd.grad](#1.3 autograd.grad)
    • [1.4 loss.backward](#1.4 loss.backward)
  • [2. Softmax](#2. Softmax)
    • [2.1 softmax推导](#2.1 softmax推导)

1.loss的种类

常见两种一种是均方差,一种是交叉熵

1.1 MSE

1.2 MSE推导

1.3 autograd.grad

1.4 loss.backward


注意:autograd.grad直接返回梯度,而backward梯度保存再w.grad中

2. Softmax

softmax函数范围是[0,1]所有分类概率和等于1,softmax的特性是使概率大的更大,概率小的更小。

2.1 softmax推导

  • i=j
  • i/=j
  • 。总结
  • 应用
相关推荐
明朝百晓生18 分钟前
强化学习【Monte Carlo Learning][MC Basic 算法]
人工智能·机器学习
AI云原生19 分钟前
云原生系列Bug修复:Docker镜像无法启动的终极解决方案与排查思路
运维·服务器·python·docker·云原生·容器·bug
万粉变现经纪人2 小时前
如何解决 pip install -r requirements.txt 私有索引未设为 trusted-host 导致拒绝 问题
开发语言·python·scrapy·flask·beautifulsoup·pandas·pip
查士丁尼·绵3 小时前
笔试-九宫格三阶积幻方
python·九宫格·三阶积幻方
云知谷5 小时前
【C++基本功】C++适合做什么,哪些领域适合哪些领域不适合?
c语言·开发语言·c++·人工智能·团队开发
rit84324995 小时前
基于MATLAB实现基于距离的离群点检测算法
人工智能·算法·matlab
l1t6 小时前
DeepSeek辅助利用搬移底层xml实现快速编辑xlsx文件的python程序
xml·开发语言·python·xlsx
大飞记Python6 小时前
部门管理|“编辑部门”功能实现(Django5零基础Web平台)
前端·数据库·python·django
初学小刘6 小时前
深度学习:从图片数据到模型训练(十分类)
人工智能·深度学习
递归不收敛7 小时前
大语言模型(LLM)入门笔记:嵌入向量与位置信息
人工智能·笔记·语言模型