常见回归损失函数详解:L1 Loss, L2 Loss, Huber Loss

误差损失函数比较

L1 损失函数

L1 损失函数又称为绝对误差损失,其形式为 loss(x) = |x|,即预测值与真实值之间差值的绝对值。该函数对异常值具有鲁棒性,梯度恒定不易爆炸,但由于不可导点和不连续导数,可能导致优化过程中收敛速度变慢。

L2 损失函数

L2 损失函数也被称为均方误差损失,其形式为 loss(x) = x²。L2 损失对小误差敏感,能有效惩罚较大的偏差,是神经网络中常用的回归损失函数。然而,L2 损失对异常值非常敏感,可能使得模型偏向这些异常样本。

Huber 损失函数

Huber 损失结合了 L1 和 L2 的优点。其形式为:

  • |x| ≤ δ 时,loss(x) = 0.5 * x²
  • |x| > δ 时,loss(x) = δ * (|x| - 0.5 * δ)

Huber 损失在误差小的情况下与 L2 相同,对结果平滑;在误差大的情况下表现为 L1,提升了对异常值的鲁棒性。

可视化对比

下图展示了 L1 损失、L2 损失以及 Huber 损失三者在误差不同取值下的对比情况:

L1 损失(绝对误差):对异常值鲁棒,梯度恒定,可能导致模型收敛较慢。

L2 损失(平方误差):对小误差敏感,有助于平滑优化,但容易受异常值影响。

Huber 损失:结合了 L1 和 L2 的优点,小误差时像 L2,大误差时像 L1,更平稳且对异常值鲁棒。

相关推荐
算家计算4 分钟前
突破 30 分!国内团队结合DeepSeek-R1与 X-Master,打破AI 评测纪录!
人工智能·开源·资讯
rocksun7 分钟前
使用MCP Toolbox for Databases访问数据库
数据库·人工智能·mcp
ai小鬼头17 分钟前
AIStarter:一键部署AI工具,轻松提升效率的秘密武器!
css·人工智能·github
kngines21 分钟前
【字节跳动】数据挖掘面试题0011:介绍下时间序列分析常用知识点
数据挖掘·面试题·时间序列分析
szxinmai主板定制专家1 小时前
89104 PCIe Switch芯片国产替代 - PCIE5.0国产AI服务器高性能扩展,支持海光/龙芯/飞腾等
人工智能
Listennnn1 小时前
AI趋势与提示词工程
人工智能
王天天(Bennet)1 小时前
【防火墙基础之传统墙到 UTM 到 NGFW 再到 AI 的变化】
人工智能·网络安全·防火墙·ngfw·防火墙发展与认知
Virgil1393 小时前
【TrOCR】训练代码
人工智能·深度学习·ocr
锅挤3 小时前
深度学习3(向量化编程+ python中实现逻辑回归)
人工智能·深度学习
MARS_AI_7 小时前
云蝠智能 Voice Agent 落地展会邀约场景:重构会展行业的智能交互范式
人工智能·自然语言处理·重构·交互·语音识别·信息与通信