20. 损失函数

损失函数
1. 损失函数的作用
  • 损失函数用于衡量预测值和真实之间的误差关系,用于后续的模型参数调整也就是模型训练过程中的参数指导
  • pytorch的nn模块中包含了回归任务、分类任务的诸多损失函数计算方式,网址(https://pytorch.org/docs/stable/nn.html#loss-functions)中给出了各种损失函数的调用结构,以及详细的损失函数的使用说明
2.MSELoss介绍
  • nn模块中直接集成了具体的损失函数,通过下面的代码可以创建一个损失函数类的实例

    python 复制代码
    from torch import nn
    loss = nn.MSELoss(reduction)
    • reduction:用于指定计算误差的方法是取均值还是总和

      • reduction="sum"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 loss = \sum_{i}^{n}{(x_i - y_i)^2} loss=i∑n(xi−yi)2

      • reduction="mean"时损失函数的计算方式为
        l o s s = ∑ i n ( x i − y i ) 2 n loss={\sum_{i}^{n}{(x_i-y_i)^2} \over n} loss=n∑in(xi−yi)2

  • 使用创建的实例进行一个简单计算

    python 复制代码
    result_loss = loss(input, target)
    • input targe:分别是输入和输出,使用损失函数时要特别注意数据维度的问题(通常情况下 input.shape == target.shape),官方文档中可以查看的每个函数的对数据输入和输出的维度的要求
3. CrossEntropyLoss介绍
  • 交叉熵损失函数一般用于在分类特别是多分类问题中,衡量的是模型预测的概率分布与真实分布之间的差异数值越小表示模型预测越接近真实标签。nn模块中集成了这个交叉熵损失函数

    python 复制代码
    loss = nn.CrossEntropyLoss()
  • nn模块中的 CrossEntropyLoss对于输入数据是集成了 softmax概率计算的,所以对于网络结构得到的数据直接投入损失函数中计算即可,不需要单独进行softmax:

    python 复制代码
    result_loss = loss(input, target)
    • 同样是需要注意维度要求,常见情况如下所示:
      • input(C) --> target(1): 具体情况为一个样本会生成对C个类别的预测概率,而target只需要具体指定当前样本的类别是什么就可以
      • input(N, C) --> target(N):具体情况为,样本集合的batch_size=N,target给出了每一个样本本的类别序号
相关推荐
风铃喵游3 分钟前
让大模型调用MCP服务变得超级简单
前端·人工智能
booooooty21 分钟前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba
PyAIExplorer1 小时前
基于 OpenCV 的图像 ROI 切割实现
人工智能·opencv·计算机视觉
风口猪炒股指标1 小时前
技术分析、超短线打板模式与情绪周期理论,在市场共识的形成、分歧、瓦解过程中缘起性空的理解
人工智能·博弈论·群体博弈·人生哲学·自我引导觉醒
ai_xiaogui1 小时前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
聚客AI2 小时前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_387545643 小时前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
聽雨2373 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
二川bro3 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm3 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习