Softmax、LogSoftmax、交叉熵、NLLLoss 全套公式

Softmax、LogSoftmax、交叉熵、NLLLoss 全套公式

设:

  • z:模型输出原始分数,logits,没有 0‑1 约束
  • (z_i):第 i 个类别的得分
  • C:总类别数量
  • y:真实标签,是类别索引((y\in{0,1,...,C-1}))

1. Softmax 公式

把 logits 转为概率分布,(\sum_{i=1}^C p_i = 1)

(p_i = \text{Softmax}(z_i) = \frac{e{z_i}}{\sum_{j=1}{C} e^{z_j}})

输出 (p_i\in(0,1)),代表模型预测第 i 类的概率。

数值问题:(z_i)很大时 (e^{z_i}) 会溢出;工程实现会减去最大值做稳定。

2. LogSoftmax

Softmax 之后取对数,PyTorch CrossEntropyLoss 内部第一步

(\log p_i = \text{LogSoftmax}(z_i) = \log\left(\frac{e{z_i}}{\sum_{j=1}{C} e^{z_j}}\right))## 3. 交叉熵 Cross‑Entropy(针对单标签分类)

原始交叉熵定义(输入是概率p):

(\mathcal L_{\text{CE}} = -\sum_{i=1}^{C} y_i^\text{one‑hot}\cdot \log(p_i))

(y_i^\text{one‑hot}):真实标签的 one‑hot 向量,只有真实类别位置为 1,其余全 0。

所以求和只剩下一项:

(\mathcal L_{\text{CE}} = -\log(p_y))

(p_y):模型对真实类别y预测出来的概率。

含义:真实类别预测概率越大,loss 越小;概率趋近 0,loss 趋向无穷大。

4. NLLLoss(负对数似然损失)

输入是 (\log(p_i))(LogSoftmax 输出),不是原始概率!

(\mathcal L_{\text{NLL}} = -\log(p_y))>

📌 数学关系:

(\text{CrossEntropyLoss}(z,y) = \text{NLLLoss}\big(\text{LogSoftmax}(z),\ y\big))

PyTorch nn.CrossEntropyLoss 输入原始 logits z,内部执行 LogSoftmax → NLLLoss。

❗ 易错提醒

如果你已经手动算出 (p_i=\text{Softmax}(z_i)),不能直接喂给CrossEntropyLoss;

需要先 (\log(p_i)),再送入 NLLLoss:

(\mathcal L_{\text{NLL}} = \text{NLLLoss}\big(\log(\text{Softmax}(z)),y\big))

和上面等价。

5. 平均 loss(batch 版本)

一个 batch 有 N 个样本,总损失对样本求平均:

(\mathcal L_{\text{batch}} = \frac{1}{N}\sum_{n=1}^N -\log(p_{y_n}^{(n)}))

(y_n):第n个样本的真实类别。

相关推荐
AI小怪兽13 分钟前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
罗西的思考16 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
tellmewhoisi1 天前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
谙弆悕博士1 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
咕泡科技1 天前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
电科_银尘2 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
猿人谷2 天前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
泓博2 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
在所不辞兄2 天前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
jay神2 天前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计