均方损失L2Loss
![](https://i-blog.csdnimg.cn/direct/84c673768b0145d0a4b26137e7636d80.png)
特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。
最小绝对值损失L1Loss
![](https://i-blog.csdnimg.cn/direct/3d004987ac0746ffbc89db901c8b8c93.png)
特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。
Huber's Robust Loss
![](https://i-blog.csdnimg.cn/direct/b2fc5462fbf142918f3364cb79a264ca.png)
当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。
特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。
特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。
当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。