逻辑回归中的损失函数

一、损失函数介绍:

  • 回归问题成本函数不同的是 ,逻辑回归模型(解决分类问题)的成本函数在获得损失J的时候不再用真实值y与预测值y^的差值计算损失,真实值y不再出现在公式中作为计算项
  • 首先,该次训练损失为训练集中所有样本损失求和取平均值。
  • 其次,上述损失函数如何在不计算真实值与预测值的差值的情况下获得训练损失? 解释如下:
    • 对于第一个函数:样本标签的真实值为1时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近1,即分类越接近正确,损失越小(因为真实值为1);预测值越接近0,即分类越离谱,损失越大(因为真实值为1)。****【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】
    • 对于第二个函数:样本标签的真实值为0时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近0,即分类越接近正确,损失越小(因为真实值为0);预测值越接近1,即分类越离谱,损失越大(因为真实值为0)。【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】

二、简化损失函数:

我们可以将分段函数L进行简化:

得到最终的损失函数:

相关推荐
終不似少年遊*8 分钟前
美国加州房价数据分析02
人工智能·python·机器学习·数据挖掘·数据分析·回归算法
thesky1234569 分钟前
活着就好20241225
学习·算法
Xenia22317 分钟前
复习篇~第二章程序设计基础
c++·算法
想睡觉 . 我也想睡觉 .24 分钟前
【C++算法】1.【模板】前缀和
开发语言·c++·算法
mit6.82427 分钟前
[数据结构] LRU Cache | List&Map 实现
算法
三月七(爱看动漫的程序员)1 小时前
HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA---附录
人工智能·单片机·嵌入式硬件·物联网·机器学习·语言模型·自然语言处理
Schwertlilien1 小时前
图像处理-Ch1-数字图像基础
图像处理·人工智能·算法
程序员一诺1 小时前
【深度学习】嘿马深度学习笔记第10篇:卷积神经网络,学习目标【附代码文档】
人工智能·python·深度学习·算法
MUTA️1 小时前
RT-DETR学习笔记(2)
人工智能·笔记·深度学习·学习·机器学习·计算机视觉
刚学HTML3 小时前
leetcode 05 回文字符串
算法·leetcode