损失函数分类

1. NLLLoss(负对数似然损失)

定义:
  • 直接对预测的概率 p(yi) 的负对数求平均。
  • 通常配合 Softmax 使用,输入为对数概率。
优点:
  • 对离散分类问题效果良好。
  • 更灵活,用户可以自行计算 Softmax。
缺点:
  • 需要输入已经经过 LogSoftmax 的对数概率。
  • 使用不便,现代任务中常被 CrossEntropyLoss 替代。
适用场景:
  • 分类问题,尤其是多分类问题。

2. CrossEntropyLoss

定义:
  • 内部集成了 Softmax 和 NLLLoss 的计算。
优点:
  • 集成了 Softmax 和对数概率计算,使用简单方便。
  • 稳定性更高,避免了数值溢出问题。
缺点:
  • 不适用于多标签分类任务。
  • 输出需要为原始 logits。
适用场景:
  • 图像分类、文本分类等多分类任务。

3. BCELoss

定义:
  • 用于二分类任务,输入为概率值(通常在 0, 1)。
优点:
  • 简单直观,适合二分类问题。
  • 适用于多标签分类(标签独立)。
缺点:
  • 输入必须经过 Sigmoid 函数,使用不如 BCEWithLogitsLoss 方便。
  • 数值稳定性较差,容易出现浮点溢出。
适用场景:
  • 二分类任务,如情感分析、垃圾邮件分类。
  • 多标签分类任务。

4. BCEWithLogitsLoss

定义:
  • 结合了 Sigmoid 和 BCELoss 的计算。
优点:
  • 自动处理 Sigmoid 和数值稳定性问题。
  • 更高效,推荐替代 BCELoss。
缺点:
  • 使用时需要注意输入为 logits,而非概率值。
适用场景:
  • 同 BCELoss,但推荐优先使用。

5. MSE(均方误差)

定义:
  • 衡量预测值和真实值之间的平方差。
优点:
  • 对小误差更敏感,优化平滑,易于收敛。
  • 实现简单,适用范围广。
缺点:
  • 对异常值非常敏感,可能导致模型过拟合异常值。
适用场景:
  • 连续值预测(如回归任务)。
  • 自监督任务(如自编码器)。

6. MAE(均绝对误差)

定义:
  • 衡量预测值和真实值之间的绝对差。
优点:
  • 对异常值更鲁棒,不会过分放大大的误差。
缺点:
  • 优化不平滑,梯度在零点不连续,可能导致收敛变慢。
适用场景:
  • 数据中可能存在异常值的回归任务。

7. SmoothL1Loss

定义:
  • 结合了 MSE 和 MAE 的优点。
优点:
  • 对小误差效果类似 MSE,收敛快;对大误差类似 MAE,鲁棒性好。
  • 平滑优化过程,适合复杂任务。
缺点:
  • 参数较多(如阈值),需要调试。
适用场景:
  • 目标检测中的回归(如边框偏移)。
  • 对异常值敏感但仍需要高精度的回归任务。

总结对比表格

损失函数 定义 适用任务 优点 缺点
NLLLoss 负对数似然 多分类任务 灵活,自定义 Softmax 需要 LogSoftmax,使用麻烦
CrossEntropyLoss 集成 Softmax 和 NLLLoss 多分类任务 使用方便,数值稳定 不支持多标签分类
BCELoss 二分类交叉熵 二分类、多标签分类 简单直观 需手动加 Sigmoid,数值易溢出
BCEWithLogitsLoss BCELoss + Sigmoid 二分类、多标签分类 自动加 Sigmoid,数值稳定 需输入 logits,无法直接输入概率
MSE 均方误差 连续值预测 平滑优化,易收敛 对异常值敏感
MAE 均绝对误差 连续值预测 对异常值鲁棒 优化不平滑,梯度零点不连续
SmoothL1Loss MSE + MAE 结合 回归、目标检测 平滑优化,兼顾精度和鲁棒性 参数较多,需调试

选择建议

  1. 分类任务:

    • 二分类:优先使用 BCEWithLogitsLoss。
    • 多分类:使用 CrossEntropyLoss。
    • 多标签分类:可使用 BCELoss 或 BCEWithLogitsLoss。
  2. 回归任务:

    • 精确值预测:MSE。
    • 数据有异常值:MAE 或 SmoothL1Loss。
  3. 特殊场景:

    • 自定义 Softmax:使用 NLLLoss。
    • 目标检测:SmoothL1Loss。
相关推荐
十有八七3 分钟前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
米小虾41 分钟前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界1 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8311 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0682 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌2 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
阿里云大数据AI技术2 小时前
把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构
人工智能
TDengine (老段)2 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
甲维斯3 小时前
GPT6.2“买家秀”来了,吼吼呵呵!
人工智能