【机器学习】鲁棒(健壮)回归-Huber损失(Huber Loss)

Huber损失是一种对异常值(outliers)具有鲁棒性的损失函数,它在处理回归问题时常用,结合了均方误差(MSE)的平滑性和平均绝对误差(MAE)的鲁棒性。

Huber损失通过引入一个阈值 来定义,当误差小于 时采用 MSE,当误差大于 时采用 MAE。


定义公式

Huber损失的数学表达式如下:

其中:

  • a = y - f(x) 是预测值 f(x) 和真实值 y 的残差。
  • 是用户定义的超参数,控制 MSE 和 MAE 的切换点。
特点
  1. 对于 :Huber损失是二次函数,类似 MSE,强调小残差的平滑优化。
  2. 对于 :Huber损失是线性函数,类似 MAE,减轻了离群点对损失值的影响。

Huber损失的梯度

  1. 小误差( **)**梯度为:

  2. 大误差() 梯度为:


优缺点

优点
  1. 对小误差采用 MSE,确保了模型的平滑性和稳定性。
  2. 对大误差采用 MAE,降低了离群点对整体模型的影响。
缺点
  1. 超参数 δ\deltaδ 的选择对模型性能影响较大,需要调优。
  2. 计算复杂度比单纯的 MSE 和 MAE 略高。

Python实现:Huber损失

以下是 Huber 损失的简单实现:

python 复制代码
import numpy as np
import matplotlib.pyplot as plt

# Huber损失函数
def huber_loss(y_true, y_pred, delta):
    error = y_true - y_pred
    loss = np.where(np.abs(error) <= delta,
                    0.5 * error**2,
                    delta * (np.abs(error) - 0.5 * delta))
    return loss

# 示例数据
y_true = np.array([1, 2, 3, 4, 5])
y_pred = np.array([1.1, 1.9, 3.5, 2.5, 10])
delta = 1.0

# 计算Huber损失
loss = huber_loss(y_true, y_pred, delta)
print("Huber损失:", loss)
print("总损失:", np.sum(loss))

# 可视化损失函数
errors = np.linspace(-5, 5, 100)
losses = huber_loss(0, errors, delta)

plt.plot(errors, losses, label="Huber Loss")
plt.axvline(x=delta, color="red", linestyle="--", label=f"Delta = {delta}")
plt.axvline(x=-delta, color="red", linestyle="--")
plt.title("Huber Loss Function")
plt.xlabel("Error")
plt.ylabel("Loss")
plt.legend()
plt.show()

输出结果

  • 打印每个数据点的 Huber 损失值和总损失。

    Matlab 复制代码
    Huber损失: [0.005 0.005 0.125 1.    4.5  ]
    总损失: 5.635
  • 图形显示 Huber 损失函数的形状,包括在 δ\deltaδ 附近的平滑过渡。


Huber损失的应用

  1. 回归模型优化: Huber损失常用于带有异常值的回归问题,尤其在训练时数据中包含离群点。

  2. 鲁棒优化

    • 在神经网络中作为损失函数,用于对异常样本具有鲁棒性的训练。
    • 替代 MSE 或 MAE,平衡两者的优缺点。
  3. 机器学习框架: 诸如 TensorFlow 和 PyTorch 等深度学习框架中,都提供了 Huber 损失的实现。


Huber损失的变体

  1. Pseudo-Huber损失: 一种平滑的近似版本,用于优化过程中避免梯度不连续的问题。公式为:

  2. 自适应Huber损失 : 动态调整 值,根据数据特性自适应地减少离群点的影响。

相关推荐
昨日之日200634 分钟前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper3 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号4 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha4 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云4 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊4 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint4 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨4 小时前
zotero扩容
人工智能·笔记
民乐团扒谱机4 小时前
逻辑回归算法干货详解:从原理到 MATLAB 可视化实现
数学建模·matlab·分类·数据挖掘·回归·逻辑回归·代码分享
大数据张老师4 小时前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构