深度学习中的梯度相关问题

1.求偏导的意义、作用?为什么要求偏导?

偏导数帮助我们理解函数在某一个变量变化时,函数值如何变化,同时保持其他变量不变。在机器学习中,尤其是训练神经网络时,我们通过求偏导数来确定如何调整模型参数以最小化损失函数。这相当于找到损失景观中每个参数的斜率,指导我们如何调整参数以更快地达到最小损失。这对于像梯度下降这样的优化算法至关重要。

2.加法门、乘法门、激活函数门是什么?

这些是计算图中的操作:

  • 加法门 是加法操作,用于将两个或多个值相加,常见于神经网络中组合加权输入。

  • 乘法门 是乘法操作,用于将输入与权重相乘。

  • 激活函数门 是应用激活函数(如ReLU或 sigmoid),引入非线性,帮助网络学习复杂模式。

3.常见的损失函数框架都会封装好,反向传播求导先从损失函数开始?

在TensorFlow或PyTorch等框架中,反向传播从损失函数开始。框架自动计算从损失到各权重的梯度,极大简化了开发过程。

回归问题:

4.MSE:求导损失函数后,其实是求了每条样本残差的平均值?

对于均方误差(MSE),损失函数的导数相对于预测值,实际上是每条样本残差(预测值与真实值之差)的平均值。这符合MSE是 squared differences的平均值,其导数直接与残差相关。

分类问题:

5.对于MSE和交叉熵损失函数,求导(偏导)后得到的结果一样,是否意味着对于回归和分类两大类问题,除了输入的数据X的类型不一样(回归--连续型;分类--离散型),在做反向传播时的计算结构大体相近?

只能说梯度的公式一样,但是数据的类型和计算图中的网络结构、超参数什么的不太近似,如果很接近就没有对问题的区分度了

参考来源:【官方】百战程序员_IT在线教育培训机构_体系课程在线学习平台

相关推荐
yu_xiaoxian4 分钟前
BEV学习笔记之-LSS 手撕代码
人工智能·自动驾驶
lihuayong11 分钟前
有了大模型为何还需要Agent智能体
人工智能·ai agent·agent 智能体·agent 原理
一个处女座的程序猿O(∩_∩)O16 分钟前
人工智能中神经网络是如何进行学习的
人工智能·神经网络·学习
网安导师小李21 分钟前
Android Studio下载及安装和Gradle的配置(非常详细)从零基础入门到精通,看完这一篇就够了
android·运维·ide·人工智能·安全·web安全·android studio
韩曙亮25 分钟前
【AI 大模型】RAG 检索增强生成 ⑤ ( 向量数据库 | 向量数据库 索引结构和搜索算法 | 常见 向量数据库 对比 | 安装并使用 向量数据库 chromadb 案例 )
数据库·人工智能·大模型·openai·向量数据库·ai大模型·chromadb
skywalk816332 分钟前
使用 PaddleNLP 在 CPU(支持 AVX 指令)下跑通 llama2-7b或DeepSeek-r1:1.5b 模型(完成度80%)
人工智能·python·大模型·paddlenlp
guyoung33 分钟前
AIMatrices DeepSeek更新——新增Word、PPT、Html、Latex导出、Graphviz 编辑及预览等功能
人工智能·rust·deepseek
声网42 分钟前
ElevenLabs 33 亿美元估值的秘密:技术驱动+用户导向的「小熊软糖」团队丨Voice Agent 学习笔记
人工智能
iisugar1 小时前
AI学习第二天--大模型压缩(量化、剪枝、蒸馏、低秩分解)
人工智能·学习·剪枝·量化·推理
沈二到不行1 小时前
MiniMind - 个人电脑可参与的模型
人工智能