跟着李沐学AI:简单损失函数

均方损失L2Loss

特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。

最小绝对值损失L1Loss

特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。

Huber's Robust Loss

当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。

相关推荐
SilentSamsara13 小时前
RAG 系统入门:LangChain/LlamaIndex + Chroma 向量数据库的检索增强实战
数据库·人工智能·python·青少年编程·langchain
东方佑13 小时前
分形递归状态机 (FRSM) 实验报告-更新对比
人工智能·语言模型·自然语言处理·开源
YOLO视觉与编程13 小时前
jetson orin nano烧录jetpack7.2系统
人工智能·深度学习·yolo·目标检测·机器学习
昇腾CANN13 小时前
6月15号新课开讲|HCCL入门系列课,正式上线!
人工智能·开源·昇腾·cann
rebibabo13 小时前
KV Cache 与 PagedAttention 详解:理论推导 + RTX 3090 实测数据
人工智能·vllm·推理加速·大模型部署·kvcache
Esaka_Forever13 小时前
Devin AI和Lovable区别
人工智能
happyprince13 小时前
02_verl-代码目录结构详解
人工智能·架构·强化学习
码农小白AI13 小时前
AI报告审核通审Agent版+IACheck:地方标准DB团体标准T企业标准Q智能查新
人工智能
小小龙学IT13 小时前
Composio:开源AI智能体工具集成平台深度解析
人工智能·开源