PyTorch -- 最常见损失函数 LOSS 的选择

  • 损失函数 :度量模型的预测结果与真实值之间的差异;通过最小化 loss -> 最大化模型表现
  • 代码实现框架:设有 模型预测值 f (x), 真实值 y
    • 方法一: 步骤 1. criterion = torch.nn.某个Loss();步骤 2. loss = criterion(f(x), y)
    • 方法二:直接采用 F.某个_loss(f(x), y)

回归损失(Regression Loss):希望预测值和真实值接近,即 f(x) = y

  • 【torch.nn.L1Loss()】平均绝对值误差 MAE(Mean Abs Error): f (x) 和 y 之间差的绝对值的平均值
    • 具体数学计算公式: Loss = 1 n ∑ i = 0 n ∣ f ( x i ) − y i ∣ \text{Loss}=\frac{1}{n}\sum^n_{i=0} |f(x_i)-y_i| Loss=n1∑i=0n∣f(xi)−yi∣
    • 注:L1 损失, 主要用于回归问题和简单的模型,所以很少使用
  • 【torch.nn.MSELoss()】平均平方误差 MSE(Mean Squared Error): f (x) 和 y 之间差的平方的平均值
    • 具体数学计算公式: Loss = 1 n ∑ i = 0 n ( f ( x i ) − y i ) 2 \text{Loss}=\frac{1}{n}\sum^n_{i=0} (f(x_i)-y_i)^2 Loss=n1∑i=0n(f(xi)−yi)2: F.mse_loss(f(x), y)
    • 注:L2 损失, 很常用

分类损失(Classification Loss):希望分类准确率高等

  • 【torch.nn.CrossEntropyLoss()】分类交叉熵损失 CEL(Cross Entropy Loss): 和 KL divergence (衡量两个分布的相似度) 有关
    • 具体数学计算公式: − ∑ y i j log ⁡ ( f ( x i ) j ) -\sum y_{ij}\log(f(x_i)_j) −∑yijlog(f(xi)j), 注意其中 f ( x i ) f(x_i) f(xi) 表示模型预测出的概率值如 0.1, 0.7, 0.2: F.cross_entropy(直接传入 logits (已打包了 softmax))
    • 通常和 softmax (soft version of max S ( y i ) = e y i ∑ e y i S(y_i) = \frac{e^{y_i}}{\sum e^{y_i}} S(yi)=∑eyieyi: F.softmax(y)) 搭配使用 (softmax 负责产生上述概率输出)
    • logistic regression (按sigmoid输出的概率大小分类) 已被 classification 代替

相关推荐
LK_074 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表
wuyk5554 小时前
Python办公自动化-第02讲-Excel文件认知与四大库选型
开发语言·python·excel
SwanArc技术笔记4 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金4 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络4 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
安爹前沿AI4 小时前
Seedance 有个文档里没写的参数:开了码率涨 3.9 倍,费用一分没多
人工智能
深海鱼在掘金4 小时前
深入浅出RAG——第20章:端到端实战:企业级知识库问答系统
人工智能
黑十4 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
樊小肆5 小时前
agent 不报错才最吓人:自研编码工具半年,我踩了 10 个"看着正常"的运行时坑
前端·人工智能·agent