20. 损失函数

损失函数
1. 损失函数的作用
  • 损失函数用于衡量预测值和真实之间的误差关系,用于后续的模型参数调整也就是模型训练过程中的参数指导
  • pytorch的nn模块中包含了回归任务、分类任务的诸多损失函数计算方式,网址(https://pytorch.org/docs/stable/nn.html#loss-functions)中给出了各种损失函数的调用结构,以及详细的损失函数的使用说明
2.MSELoss介绍
  • nn模块中直接集成了具体的损失函数,通过下面的代码可以创建一个损失函数类的实例

    python 复制代码
    from torch import nn
    loss = nn.MSELoss(reduction)
    • reduction:用于指定计算误差的方法是取均值还是总和

      • reduction="sum"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 loss = \sum_{i}^{n}{(x_i - y_i)^2} loss=i∑n(xi−yi)2

      • reduction="mean"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 n loss={\sum_{i}^{n}{(x_i-y_i)^2} \over n} loss=n∑in(xi−yi)2

  • 使用创建的实例进行一个简单计算

    python 复制代码
    result_loss = loss(input, target)
    • input targe:分别是输入和输出,使用损失函数时要特别注意数据维度的问题(通常情况下 input.shape == target.shape),官方文档中可以查看的每个函数的对数据输入和输出的维度的要求
3. CrossEntropyLoss介绍
  • 交叉熵损失函数一般用于在分类特别是多分类问题中,衡量的是模型预测的概率分布与真实分布之间的差异数值越小表示模型预测越接近真实标签。nn模块中集成了这个交叉熵损失函数

    python 复制代码
    loss = nn.CrossEntropyLoss()
  • nn模块中的 CrossEntropyLoss对于输入数据是集成了 softmax概率计算的,所以对于网络结构得到的数据直接投入损失函数中计算即可,不需要单独进行softmax:

    python 复制代码
    result_loss = loss(input, target)
    • 同样是需要注意维度要求,常见情况如下所示:
      • input(C) --> target(1): 具体情况为一个样本会生成对C个类别的预测概率,而target只需要具体指定当前样本的类别是什么就可以
      • input(N, C) --> target(N):具体情况为,样本集合的batch_size=N,target给出了每一个样本本的类别序号
相关推荐
XINVRY-FPGA42 分钟前
EPM240T100I5N Altera FPGA MAX II CPLD
人工智能·嵌入式硬件·fpga开发·硬件工程·dsp开发·射频工程·fpga
HuggingFace1 小时前
开源开发者须知:欧盟《人工智能法案》对通用人工智能模型的最新要求
人工智能
媒体人8883 小时前
GEO 优化专家孟庆涛:技术破壁者重构 AI 时代搜索逻辑
大数据·人工智能
小菜AI科技3 小时前
Windsurf 评测:这款 人工智能 IDE 是你需要的颠覆性工具吗?
人工智能
RaymondZhao343 小时前
【全面推导】策略梯度算法:公式、偏差方差与进化
人工智能·深度学习·算法·机器学习·chatgpt
yzx9910133 小时前
小程序开发APP
开发语言·人工智能·python·yolo
AKAMAI4 小时前
通过自动化本地计算磁盘与块存储卷加密保护数据安全
人工智能·云计算
无规则ai4 小时前
动手学深度学习(pytorch版):第四章节—多层感知机(5)权重衰减
人工智能·pytorch·python·深度学习
zskj_zhyl5 小时前
家庭健康能量站:微高压氧舱结合艾灸机器人,智享双重养生SPA
人工智能·科技·安全·机器人
朗迪锋5 小时前
数字孪生 :提高制造生产力的智能方法
大数据·人工智能·制造