variance和bias
MSE之前，先看两个更为朴素的指标：variance和bias。
在打靶中，有的人所有的子弹都离靶心很远，偏差显然过高，但是很稳定地维持在某一点附近；有的人平均环数更高，但是分布太过分散。我们当然希望又准确又稳定，如何衡量二者呢？
MSE(Mean squared error)
可以发现，MSE正好是偏差和方差构成的：
方差公式：
V(X) = E(X - E(X))²
= EX² - 2 X E(X) + E(X)²
= E(X²) - 2 E(X) E(X) + E(X)²
= E(X )² - E(X)²
V(θhat -θ) = E(θhat - θ)² - E(θhat - θ)²，方差平移不变，所以：
V(θhat) = E(θhat - θ)² - E(θhat) - E(θ)²，等式变换：
E(θhat - θ)² = E(θhat) - θ² + V(θhat)=Bias² + V(θhat) = Bias² + Variance=MSE
对于网络模型的训练，由模型简单到复杂的过程中，欠拟合逐渐变为过拟合。因为随着模型变大，网络学习能力变强，偏差变小，但是受噪声影响变大，方差变大：
MSE和L2正则的关系？
在之前的文章中，我们看到L2正则和先验概率有一些联系，那么MSE怎么从贝叶斯的角度理解呢？
正则的本质是依据于先验概率，对参数进行约束，相当于参数有一个初始分布，最终估计出的不应该偏离这个值太远。
MSE衡量的是预测值与真实值之间的关系，那么关于预测值的似然函数可以写成关于GT的函数，如果这个函数是高斯分布，根据最大似然估计就可以得到MSE。所以MSE是先验为高斯分布下的最大似然估计。
从收敛速度看MSE
MSE形状是开口向上的二次曲线，光滑连续、可导，便于使用梯度下降算法，是比较常用的一种损失函数。而且，MSE 随着误差的减小，梯度也在减小，即使固定学习因子，函数也能较快取得最小值。
因为是二次函数，当误差大于1时会被放大，小于1时会被减小。所以MSE会惩罚误差更大的点。
分类可以使用MSE吗
-
直观地来说，分类中的label只是一个标签，和绝对数值大小没关系，所以强行拟合可能会有问题；
-
刚才提到，MSE的先验是高斯分布，而分类和高斯分布关系不大，更像是伯努利分布；交叉熵则是以数据分布服从多项式分布为前提，所以分类更多使用交叉熵；
3.从梯度更新上看，MSE中的预测值是sigmoid后的输出，那么求导时就会出现sigmoid的导数，而sigmoid的导数在两侧很小，会导致梯度下降不了。比如真实值是1，不管预测是0还是1附近，梯度都很小。MSE在这里变成了非凸优化。
那么交叉熵就没有这个问题吗？还真没有，因为在求梯度过程中能消掉。可以看下面的回答：
交叉熵损失(Cross-Entropy)和平方损失(MSE)究竟有何区别？ - 陆壹爵爷的文章 - 知乎
https://zhuanlan.zhihu.com/p/423179343
回归一定使用MSE吗
在第一篇使用CNN做超分的SRCNN中，确实使用的还是MSE。但是正如前面提到的，MSE过分关注离群点，和人眼不太符合；同时MSE可能会损失高频细节，这和它高斯分布的假设也有关系。
所以超分，去噪更多使用L1，SSIM等，尤其后面又有GAN loss等的出现，MSE使用得更少了。
分类问题中为什么用交叉熵而不用MSE KL散度和交叉熵的关系_分类为什么用交叉熵不用mse-CSDN博客
交叉熵损失(Cross-Entropy)和平方损失(MSE)究竟有何区别？ - 陆壹爵爷的文章 - 知乎
https://zhuanlan.zhihu.com/p/423179343
那么，交叉熵可以用于回归问题吗？有些情况下，还真可以：分类必然交叉熵，回归无脑MSE？未必 - 知乎
https://www.cnblogs.com/USTC-ZCC/p/13219281.htmlAI 面试高频问题: 为什么二分类不用 MSE 损失函数？ - mathinside的个人空间 - OSCHINA - 中文开源技术交流社区
RMSE (Root Mean Square Error）
均方根误差RMSE就是对MSE开方之后的结果
MAE(mean absolute error)
对外点更鲁棒：
mean absolute percentage error (MAPE)
where A t is the actual value and F t is the forecast value.
MAPE和MAE最大的区别就是进行了归一化。相当于在绝对误差的基础上又考虑了相对误差。
MAPE (Mean absolute percentage error）
Symmetric mean absolute percentage error (SMAPE
进一步在归一化的时候同时考虑了真实值和预测值。为什么同时考虑，是为了解决MAPE没有上限的问题：除以一个很小的值，结果会很大。
对于分母，为了避免真实值和预测值之和为负数，所以各自取了绝对值再求和。
有的公式分母会再除以2，这样SMAPE最大值就会达到2.
我们可以看到虽然0-200的范围不太常见，但它是更接近MAPE的：
也可以看到两种sMAPE都不是对称的，0-200的甚至在左边大于MAPE，在右边小于MAPE。
没有达到"对称"的效果：
- Over-forecasting: A t = 100 and F t = 110 give SMAPE = 4.76%
- Under-forecasting: A t = 100 and F t = 90 give SMAPE = 5.26%.
反而是MSE和MAE有对称效果。
通俗易懂方差（Variance）和偏差（Bias）_偏差和方差-CSDN博客深度学习常用损失MSE、RMSE、MAE和MAPE-CSDN博客
https://medium.com/@davide.sarra/how-to-interpret-smape-just-like-mape-bf799ba03bdc