![](https://i-blog.csdnimg.cn/img_convert/4b8d75f0ccf0e9ff610c1f7cd0f63144.png)
1.求偏导的意义、作用?为什么要求偏导?
偏导数帮助我们理解函数在某一个变量变化时,函数值如何变化,同时保持其他变量不变。在机器学习中,尤其是训练神经网络时,我们通过求偏导数来确定如何调整模型参数以最小化损失函数。这相当于找到损失景观中每个参数的斜率,指导我们如何调整参数以更快地达到最小损失。这对于像梯度下降这样的优化算法至关重要。
2.加法门、乘法门、激活函数门是什么?
这些是计算图中的操作:
-
加法门 是加法操作,用于将两个或多个值相加,常见于神经网络中组合加权输入。
-
乘法门 是乘法操作,用于将输入与权重相乘。
-
激活函数门 是应用激活函数(如ReLU或 sigmoid),引入非线性,帮助网络学习复杂模式。
![](https://i-blog.csdnimg.cn/img_convert/e025c37d38cc1091098921cb8810f0f3.png)
3.常见的损失函数框架都会封装好,反向传播求导先从损失函数开始?
在TensorFlow或PyTorch等框架中,反向传播从损失函数开始。框架自动计算从损失到各权重的梯度,极大简化了开发过程。
回归问题:
![](https://i-blog.csdnimg.cn/img_convert/d754dba3b7ec82e72d48eae5d7288402.png)
4.MSE:求导损失函数后,其实是求了每条样本残差的平均值?
对于均方误差(MSE),损失函数的导数相对于预测值,实际上是每条样本残差(预测值与真实值之差)的平均值。这符合MSE是 squared differences的平均值,其导数直接与残差相关。
分类问题:
![](https://i-blog.csdnimg.cn/img_convert/9095cf5966c22ef84095e70cec1662d8.png)
5.对于MSE和交叉熵损失函数,求导(偏导)后得到的结果一样,是否意味着对于回归和分类两大类问题,除了输入的数据X的类型不一样(回归--连续型;分类--离散型),在做反向传播时的计算结构大体相近?
![](https://i-blog.csdnimg.cn/img_convert/64efa305ad5f1c6f9304bafd1f2e246a.png)
只能说梯度的公式一样,但是数据的类型和计算图中的网络结构、超参数什么的不太近似,如果很接近就没有对问题的区分度了