深度学习篇---回归&分类任务的损失函数


文章目录


前言

本文简单介绍了深度学习中常用的损失函数。比如用于回归任务的交叉熵损失、Focal Loss损失;用于分类任务的MAE\MSE\Huber损失等。


一、分类任务常用损失函数

1. 交叉熵损失(Cross-Entropy Loss)

数学形式

𝑦𝑖,𝑐 样本 𝑖的真实标签(one-hot 编码)。

𝑝𝑖,𝑐:模型预测样本 𝑖 属于类别 𝑐的概率。

使用场景

适用场景:多分类任务(如手写数字识别、图像分类)。

特点

  1. 直接衡量预测概率分布与真实分布的差异。
  2. 错误预测的惩罚呈指数增长(梯度随误差增大而增大)。

训练状态分析

损失下降

损失下降:模型正在学习正确分类样本

损失震荡

损失震荡:学习率可能过高,或数据噪声较大

训练损失低但是验证损失高

训练损失低但验证损失高:过拟合(模型记忆训练数据,泛化能力差)。

2. Hinge Loss(合页损失)

数学形式

𝑦𝑖∈{−1,1}:真实标签。

𝑦^𝑖:模型输出的未归一化得分(如 SVM 的决策函数)。

适用场景

适用场景:二分类任务(如支持向量机)。

特点

  1. 正确分类且置信度高的样本损失为 0
  2. 误分类样本的惩罚与置信度线性相关

训练状态分析

损失趋近于0

损失趋近于 0:模型对大部分样本分类正确且置信度高

损失不下降

损失不下降:模型无法找到有效的分类边界(需调整超参数或特征)。

3. Focal Loss

数学形式

  1. 𝛼:平衡类别权重的系数。
  2. 𝛾:聚焦参数降低易分类样本的权重。

适用场景

适用场景:类别不平衡 问题(如目标检测中的前景-背景分类)。

特点

通过降低简单样本的权重,使模型更关注难样本。

训练状态分析

损失快速下降

损失快速下降 :模型正在学习难样本的特征。

损失稳定后仍有波动

损失稳定后仍有波动 :需调整 𝛾或数据增强策略。

二、回归任务常用损失函数

1. 均方误差(Mean Squared Error, MSE)

数学形式

适用场景

适用场景:连续值预测(如房价预测、温度预测)。

特点

  1. 异常值敏感(平方放大大误差)。
  2. 输出为凸函数 ,利于梯度下降优化。

训练状态分析

损失持续下降

损失持续下降:模型正在拟合数据分布

损失突然增大

损失突然增大:可能遇到异常值或梯度爆炸。

2. 平均绝对误差(Mean Absolute Error, MAE)

数学形式

适用场景

适用场景:对异常值敏感的回归任务(如金融风险预测)。

特点

  1. 异常值鲁棒(线性惩罚)。
  2. 梯度恒定,可能导致收敛速度慢。

训练状态分析

损失缓慢下降

损失缓慢下降:需结合自适应优化器(如 Adam)。

损失波动小但值比较高

损失波动小但值较高:模型可能欠拟合(需增加网络容量)。

3. Huber Loss

数学形式

适用场景

适用场景:存在少量异常值的回归任务(如传感器数据预测)。

特点

  1. 结合 MSE 和 MAE 的优点,对异常值鲁棒。
  2. 需手动设定阈值 𝛿。

训练状态分析

损失平稳下降

损失平稳下降:模型在平衡大误差和小误差的优化。

需调整δ

需调整 𝛿:根据误差分布动态选择。

三、损失函数值与训练状态的关系

损失函数行为 可能原因 解决方案
训练损失持续下降 模型正常学习中 持续监控验证集损失
验证损失上升 过拟合 增加正则化(Dropout, L2)、数据增强

损失震荡剧烈 学习率过高或批量过小 降低学习率、增大批量大小
损失长期不下降 模型容量不足、梯度消失/爆炸 加深网络、使用残差连接、调整初始化
训练/验证损失均高 欠拟合 增加模型复杂度、减少正则化、延长训练

四、总结

分类任务

分类任务:优先选择交叉熵损失 ,处理不平衡数据时使用 Focal Loss

回归任务

回归任务:根据**异常值情况选择 MSE(平滑优化)**或 MAE/Huber(鲁棒性)

监控策略

同时观察训练集和验证集损失 ,判断过拟合/欠拟合

使用学习率调度器(如 ReduceLROnPlateau)动态调整优化速度。


相关推荐
im_AMBER9 分钟前
python实践思路(草拟计划+方法)
开发语言·python
站大爷IP16 分钟前
Python与JSON:结构化数据的存储艺术
python
掘金一周17 分钟前
Figma Dev Mode MCP:大人,时代变了 | 掘金一周7.10
前端·人工智能·mcp
大千AI助手21 分钟前
陶哲轩:数学界的莫扎特与跨界探索者
人工智能·数学·机器学习·概率·人物·天才·陶哲轩
通街市密人有33 分钟前
PanTS: The Pancreatic Tumor Segmentation Dataset
人工智能·深度学习·计算机视觉
大菠萝学姐42 分钟前
基于Spring Boot和Vue的高校图书馆座位预约系统的设计与实现
java·vue.js·spring boot·后端·python·mysql·vue
高工智能汽车1 小时前
出圈or出局?AI汽车“急速驶来”,市场淘汰赛一触即发
人工智能·汽车
Tomorrow'sThinker1 小时前
[特殊字符] Python 批量生成词云:读取词频 Excel + 自定义背景 + Excel to.png 流程解析
python·excel
Qdgr_1 小时前
传统报警难题频现,安全运行隐患重重
大数据·人工智能·安全