逻辑回归中的损失函数

一、损失函数介绍:

  • 与回归问题成本函数不同的是 ,逻辑回归模型(解决分类问题)的成本函数在获得损失J的时候不再用真实值y与预测值y^的差值计算损失,真实值y不再出现在公式中作为计算项 。
  • 首先,该次训练损失为训练集中所有样本损失求和取平均值。
  • 其次,上述损失函数如何在不计算真实值与预测值的差值的情况下获得训练损失? 解释如下:
    • 对于第一个函数:样本标签的真实值为1时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近1,即分类越接近正确,损失越小(因为真实值为1);预测值越接近0,即分类越离谱,损失越大(因为真实值为1)。****【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】
    • 对于第二个函数:样本标签的真实值为0时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近0,即分类越接近正确,损失越小(因为真实值为0);预测值越接近1,即分类越离谱,损失越大(因为真实值为0)。【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】

二、简化损失函数:

我们可以将分段函数L进行简化:

得到最终的损失函数:

相关推荐
武天旭2 小时前
AI安全--AI大模型的对抗样本攻击与防御解析
人工智能·深度学习·安全·机器学习
Navigator_Z5 小时前
LeetCode //C - 1317. Convert Integer to the Sum of Two No-Zero Integers
c语言·算法·leetcode
D e re k ZH6 小时前
C++ 标准库算法全景指南
数据结构·c++·算法
冻柠檬飞冰走茶7 小时前
字母移动游戏题解:贪心求最长可保留连续子串(附 C 实现)
c语言·开发语言·数据结构·算法·动态规划
雪落漂泊7 小时前
C++算法 二分查找篇(上)
开发语言·c++·算法
在所不辞兄8 小时前
为什么神经网络在训练集损失已接近零后继续训练,测试性能仍可能继续提升,而不是单纯地越来越过拟合?
人工智能·深度学习·神经网络·机器学习·智能仿真
LabVIEW开发9 小时前
LabVIEW 连接板:28 个端子怎么排,优先级怎么定
java·算法·labview
Rocky Ding*10 小时前
深入浅出IDM-VTON论文精读:虚拟试衣怎样同时保住服装语义与局部细节
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·idm-vton
严肃小白兔10 小时前
MATLAB 数值计算中的精度与误差问题:浮点运算、误差传播与数值稳定性
人工智能·算法·matlab