跟着李沐学AI:简单损失函数

均方损失L2Loss

特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。

最小绝对值损失L1Loss

特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。

Huber's Robust Loss

当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。

相关推荐
Tadas-Gao13 小时前
大模型幻觉治理新范式:SCA与[PAUSE]注入技术的深度解析与创新设计
人工智能·深度学习·机器学习·架构·大模型·llm
查无此人byebye13 小时前
从零解读CLIP核心源码:PyTorch实现版逐行解析
人工智能·pytorch·python·深度学习·机器学习·自然语言处理·音视频
PKUMOD13 小时前
论文导读 | 在长上下文及复杂任务中的递归式语言模型架构
人工智能·语言模型·架构
海绵宝宝de派小星13 小时前
文本表示方法演进(词袋模型→Word2Vec→BERT)
人工智能·ai·bert·word2vec
AC赳赳老秦13 小时前
等保2.0合规实践:DeepSeek辅助企业数据分类分级与自动化报告生成
大数据·人工智能·分类·数据挖掘·自动化·数据库架构·deepseek
FansyMeng13 小时前
AI入门之anaconda安装
人工智能
小雨下雨的雨13 小时前
HarmonyOS 应用开发实战:高精图像处理与头像裁剪持久化技术深度解析
图像处理·人工智能·华为·ai·交互·harmonyos·鸿蒙系统
共享家952713 小时前
LangChain初识
人工智能·langchain
ASD123asfadxv13 小时前
SAR图像地面军事目标识别与分类:YOLO11-Seg-RFAConv实现教程
人工智能·目标跟踪·分类
Marry Andy13 小时前
Atlas 300l Duo部署qwen3_32b_light
linux·人工智能·经验分享·语言模型·自然语言处理