损失函数总结(六):KLDivLoss、BCEWithLogitsLoss

损失函数总结(六):KLDivLoss、BCEWithLogitsLoss

  • [1 引言](#1 引言)
  • [2 损失函数](#2 损失函数)
    • [2.1 KLDivLoss](#2.1 KLDivLoss)
    • [2.2 BCEWithLogitsLoss](#2.2 BCEWithLogitsLoss)
  • [3 总结](#3 总结)

1 引言

在前面的文章中已经介绍了介绍了一系列损失函数 (L1Loss、MSELoss、BCELoss、CrossEntropyLoss、NLLLoss、CTCLoss、PoissonNLLLoss、GaussianNLLLoss)。在这篇文章中,会接着上文提到的众多损失函数继续进行介绍,给大家带来更多不常见的损失函数的介绍。这里放一张损失函数的机理图:

2 损失函数

2.1 KLDivLoss

Kullback-Leibler散度(KL Divergence),通常称为KLDivLoss,是机器学习和深度学习中的一种损失函数,特别用于概率模型的上下文中,比如变分自动编码器(VAE)。它用来度量两个概率分布之间的差异。KLDivLoss的数学表达式如下:
K L D i v L o s s ( p ∥ q ) = E p ( x ) log ⁡ p ( x ) q ( x ) = ∑ i = 1 N p ( x i ) ⋅ ( log ⁡ p ( x i ) − log ⁡ q ( x i ) ) KLDivLoss(p∥q)=E_{p(x)} \log \frac{p(x)}{q(x)} = \sum_{i=1}^{N}p(x_i )⋅(\log p(x_i)−\log q(x_i)) KLDivLoss(p∥q)=Ep(x)logq(x)p(x)=i=1∑Np(xi)⋅(logp(xi)−logq(xi))

其中:

  • p p p 表示模型预测值。
  • q q q 表示模型实际值。
  • N N N 表示样本量。

代码实现(Pytorch):

python 复制代码
import torch.nn.functional as F
kl_loss = nn.KLDivLoss(reduction="batchmean")
# input should be a distribution in the log space
input = F.log_softmax(torch.randn(3, 5, requires_grad=True), dim=1)
# Sample a batch of distributions. Usually this would come from the dataset
target = F.softmax(torch.rand(3, 5), dim=1)
output = kl_loss(input, target)

kl_loss = nn.KLDivLoss(reduction="batchmean", log_target=True)
log_target = F.log_softmax(torch.rand(3, 5), dim=1)
output = kl_loss(input, log_target)

KLDivLoss在知识蒸馏任务中有广泛应用,值得大家关注和了解。。。。

2.2 BCEWithLogitsLoss

BCEWithLogitsLoss 是二进制交叉熵损失函数(Binary Cross-Entropy Loss)的一种变体,通常用于深度学习中的二分类问题。这个损失函数常用于神经网络训练,特别是对二元分类任务(两个类别的分类)进行模型训练。BCEWithLogitsLoss的数学表达式如下:
L ( y , y ′ ) = − 1 n ∑ i = 1 n y i log ⁡ ( σ ( y i ′ ) ) + ( 1 − y i ) log ⁡ ( 1 − σ ( y i ′ ) ) L(y, y') = -\frac{1}{n} \sum_{i=1}^{n} y_i \\log(\\sigma(y_i')) + (1 - y_i) \\log(1 - \\sigma(y_i')) L(y,y′)=−n1i=1∑nyilog(σ(yi′))+(1−yi)log(1−σ(yi′))

其中:

  • L ( y , y ′ ) L(y, y') L(y,y′) 是整个数据集上的损失。
  • n n n 是样本数量。
  • y i y_i yi 是第 i i i 个样本的实际标签,通常是0或1(表示两个类别中的一个)。
  • y i ′ y_i' yi′ 是第 i i i 个样本的模型预测的概率,通常在0和1之间。
  • σ ( ) \sigma() σ() 是sigmoid激活函数。

代码实现(Pytorch):

python 复制代码
loss = nn.BCEWithLogitsLoss()
input = torch.randn(3, requires_grad=True)
target = torch.empty(3).random_(2)
output = loss(input, target)
output.backward()

整体来说和BCELoss没有什么区别。BCELoss+Sigmoid=BCEWithLogitsLoss

3 总结

到此,使用 损失函数总结(六) 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的损失函数也可以在评论区提出,后续会对其进行添加!!!!

如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。

相关推荐
VIP_CQCRE6 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
wuyk5556 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
泯泷6 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我7 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁017 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit7 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn8 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄8 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks9 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
锋行天下9 小时前
langgraph 全栈项目(三)
前端·人工智能·后端