20. 损失函数

损失函数
1. 损失函数的作用
  • 损失函数用于衡量预测值和真实之间的误差关系,用于后续的模型参数调整也就是模型训练过程中的参数指导
  • pytorch的nn模块中包含了回归任务、分类任务的诸多损失函数计算方式,网址(https://pytorch.org/docs/stable/nn.html#loss-functions)中给出了各种损失函数的调用结构,以及详细的损失函数的使用说明
2.MSELoss介绍
  • nn模块中直接集成了具体的损失函数,通过下面的代码可以创建一个损失函数类的实例

    python 复制代码
    from torch import nn
    loss = nn.MSELoss(reduction)
    • reduction:用于指定计算误差的方法是取均值还是总和

      • reduction="sum"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 loss = \sum_{i}^{n}{(x_i - y_i)^2} loss=i∑n(xi−yi)2

      • reduction="mean"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 n loss={\sum_{i}^{n}{(x_i-y_i)^2} \over n} loss=n∑in(xi−yi)2

  • 使用创建的实例进行一个简单计算

    python 复制代码
    result_loss = loss(input, target)
    • input targe:分别是输入和输出,使用损失函数时要特别注意数据维度的问题(通常情况下 input.shape == target.shape),官方文档中可以查看的每个函数的对数据输入和输出的维度的要求
3. CrossEntropyLoss介绍
  • 交叉熵损失函数一般用于在分类特别是多分类问题中,衡量的是模型预测的概率分布与真实分布之间的差异数值越小表示模型预测越接近真实标签。nn模块中集成了这个交叉熵损失函数

    python 复制代码
    loss = nn.CrossEntropyLoss()
  • nn模块中的 CrossEntropyLoss对于输入数据是集成了 softmax概率计算的,所以对于网络结构得到的数据直接投入损失函数中计算即可,不需要单独进行softmax:

    python 复制代码
    result_loss = loss(input, target)
    • 同样是需要注意维度要求,常见情况如下所示:
      • input(C) --> target(1): 具体情况为一个样本会生成对C个类别的预测概率,而target只需要具体指定当前样本的类别是什么就可以
      • input(N, C) --> target(N):具体情况为,样本集合的batch_size=N,target给出了每一个样本本的类别序号
相关推荐
云知谷12 小时前
【C++基本功】C++适合做什么,哪些领域适合哪些领域不适合?
c语言·开发语言·c++·人工智能·团队开发
rit843249913 小时前
基于MATLAB实现基于距离的离群点检测算法
人工智能·算法·matlab
初学小刘13 小时前
深度学习:从图片数据到模型训练(十分类)
人工智能·深度学习
递归不收敛14 小时前
大语言模型(LLM)入门笔记:嵌入向量与位置信息
人工智能·笔记·语言模型
之墨_15 小时前
【大语言模型】—— 自注意力机制及其变体(交叉注意力、因果注意力、多头注意力)的代码实现
人工智能·语言模型·自然语言处理
从孑开始15 小时前
ManySpeech.MoonshineAsr 使用指南
人工智能·ai·c#·.net·私有化部署·语音识别·onnx·asr·moonshine
涛涛讲AI15 小时前
一段音频多段字幕,让音频能够流畅自然对应字幕 AI生成视频,扣子生成剪映视频草稿
人工智能·音视频·语音识别
可触的未来,发芽的智生16 小时前
新奇特:黑猫警长的纳米世界,忆阻器与神经网络的智慧
javascript·人工智能·python·神经网络·架构
WWZZ202516 小时前
快速上手大模型:机器学习2(一元线性回归、代价函数、梯度下降法)
人工智能·算法·机器学习·计算机视觉·机器人·大模型·slam
AKAMAI16 小时前
数据孤岛破局之战 :跨业务分析的难题攻坚
运维·人工智能·云计算