20. 损失函数

损失函数
1. 损失函数的作用
  • 损失函数用于衡量预测值和真实之间的误差关系,用于后续的模型参数调整也就是模型训练过程中的参数指导
  • pytorch的nn模块中包含了回归任务、分类任务的诸多损失函数计算方式,网址(https://pytorch.org/docs/stable/nn.html#loss-functions)中给出了各种损失函数的调用结构,以及详细的损失函数的使用说明
2.MSELoss介绍
  • nn模块中直接集成了具体的损失函数,通过下面的代码可以创建一个损失函数类的实例

    python 复制代码
    from torch import nn
    loss = nn.MSELoss(reduction)
    • reduction:用于指定计算误差的方法是取均值还是总和

      • reduction="sum"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 loss = \sum_{i}^{n}{(x_i - y_i)^2} loss=i∑n(xi−yi)2

      • reduction="mean"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 n loss={\sum_{i}^{n}{(x_i-y_i)^2} \over n} loss=n∑in(xi−yi)2

  • 使用创建的实例进行一个简单计算

    python 复制代码
    result_loss = loss(input, target)
    • input targe:分别是输入和输出,使用损失函数时要特别注意数据维度的问题(通常情况下 input.shape == target.shape),官方文档中可以查看的每个函数的对数据输入和输出的维度的要求
3. CrossEntropyLoss介绍
  • 交叉熵损失函数一般用于在分类特别是多分类问题中,衡量的是模型预测的概率分布与真实分布之间的差异数值越小表示模型预测越接近真实标签。nn模块中集成了这个交叉熵损失函数

    python 复制代码
    loss = nn.CrossEntropyLoss()
  • nn模块中的 CrossEntropyLoss对于输入数据是集成了 softmax概率计算的,所以对于网络结构得到的数据直接投入损失函数中计算即可,不需要单独进行softmax:

    python 复制代码
    result_loss = loss(input, target)
    • 同样是需要注意维度要求,常见情况如下所示:
      • input(C) --> target(1): 具体情况为一个样本会生成对C个类别的预测概率,而target只需要具体指定当前样本的类别是什么就可以
      • input(N, C) --> target(N):具体情况为,样本集合的batch_size=N,target给出了每一个样本本的类别序号
相关推荐
Theodore_102215 分钟前
机器学习(2) 线性回归和代价函数
人工智能·深度学习·机器学习·线性回归·代价函数
Akamai中国26 分钟前
运维逆袭志·第4期 | 安全风暴的绝地反击 :从告警地狱到智能防护
运维·人工智能·云计算·云服务·云存储
ygwelcome36 分钟前
如何使用最简单的get请求融合众多AI API,包括ChatGPT、Grok等
人工智能
努力也学不会java40 分钟前
【Spring】Spring事务和事务传播机制
java·开发语言·人工智能·spring boot·后端·spring
技术闲聊DD1 小时前
深度学习(13)-PyTorch 数据转换
人工智能·pytorch·深度学习
少林and叔叔1 小时前
人工智能Pytorch开发环境的搭建
人工智能·pytorch·python·pycharm·conda
电棍2331 小时前
工程实践心得记录-pytorch要安装在哪里
人工智能·pytorch·python
星期天要睡觉1 小时前
深度学习——基于 PyTorch 的蔬菜图像分类
人工智能·pytorch·python·深度学习·分类
kailp1 小时前
OpenAI发布AI浏览器Atlas:探索下一代网页交互新可能
人工智能·大模型·云计算·aigc·算力