跟着李沐学AI:简单损失函数

均方损失L2Loss

特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。

最小绝对值损失L1Loss

特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。

Huber's Robust Loss

当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。

相关推荐
lixzest10 小时前
Transformer、PyTorch与人工智能大模型的关系
人工智能
其美杰布-富贵-李10 小时前
PyTorch Lightning
人工智能·pytorch·python·training
SiYuanFeng10 小时前
pytorch常用张量构造词句表和nn.组件速查表
人工智能·pytorch·python
MistaCloud10 小时前
Pytorch深入浅出(十四)之完整的模型训练测试套路
人工智能·pytorch·python·深度学习
知乎的哥廷根数学学派10 小时前
基于物理信息嵌入与多维度约束的深度学习地基承载力智能预测与可解释性评估算法(以模拟信号为例,Pytorch)
人工智能·pytorch·python·深度学习·算法·机器学习
WLJT12312312310 小时前
电子元器件:智能时代的核心基石
大数据·人工智能·科技·安全·生活
RockHopper202511 小时前
约束的力量:从生物认知到人工智能的跨越
人工智能·具身智能·具身认知
未来之窗软件服务11 小时前
幽冥大陆(九十六)分词服务训练 —东方仙盟练气期
人工智能·仙盟创梦ide·东方仙盟
rgeshfgreh11 小时前
Python正则与模式匹配实战技巧
大数据·人工智能
Tiny_React11 小时前
Claude Code Skills 自优化架构设计
人工智能·设计模式