均方损失L2Loss
特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。
最小绝对值损失L1Loss
特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。
Huber's Robust Loss
当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。
特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。
特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。
当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。