pytorch loss及其梯度

目录

  • 1.loss的种类
    • [1.1 MSE](#1.1 MSE)
    • [1.2 MSE推导](#1.2 MSE推导)
    • [1.3 autograd.grad](#1.3 autograd.grad)
    • [1.4 loss.backward](#1.4 loss.backward)
  • [2. Softmax](#2. Softmax)
    • [2.1 softmax推导](#2.1 softmax推导)

1.loss的种类

常见两种一种是均方差,一种是交叉熵

1.1 MSE

1.2 MSE推导

1.3 autograd.grad

1.4 loss.backward


注意:autograd.grad直接返回梯度,而backward梯度保存再w.grad中

2. Softmax

softmax函数范围是[0,1]所有分类概率和等于1,softmax的特性是使概率大的更大,概率小的更小。

2.1 softmax推导

  • i=j
  • i/=j
  • 。总结
  • 应用
相关推荐
双向332 分钟前
实战测试:多模态AI在文档解析、图表分析中的准确率对比
人工智能
用户5191495848454 分钟前
1989年的模糊测试技术如何在2018年仍发现Linux漏洞
人工智能·aigc
人类发明了工具5 分钟前
【深度学习-基础知识】单机多卡和多机多卡训练
人工智能·深度学习
站大爷IP13 分钟前
Python与MySQL:从基础操作到实战技巧的完整指南
python
用户51914958484515 分钟前
检索增强生成(RAG)入门指南:构建知识库与LLM协同系统
人工智能·aigc
老歌老听老掉牙17 分钟前
SymPy 矩阵到 NumPy 数组的全面转换指南
python·线性代数·矩阵·numpy·sympy
星期天要睡觉20 分钟前
机器学习——CountVectorizer将文本集合转换为 基于词频的特征矩阵
人工智能·机器学习·矩阵
lxmyzzs22 分钟前
【图像算法 - 14】精准识别路面墙体裂缝:基于YOLO12与OpenCV的实例分割智能检测实战(附完整代码)
人工智能·opencv·算法·计算机视觉·裂缝检测·yolo12
站大爷IP23 分钟前
Python条件判断:从基础到进阶的实用指南
python
赛博郎中27 分钟前
pygame小游戏飞机大战_8继承精灵玩家优化
python·pygame