逻辑回归中的损失函数

一、损失函数介绍:

  • 回归问题成本函数不同的是 ,逻辑回归模型(解决分类问题)的成本函数在获得损失J的时候不再用真实值y与预测值y^的差值计算损失,真实值y不再出现在公式中作为计算项
  • 首先,该次训练损失为训练集中所有样本损失求和取平均值。
  • 其次,上述损失函数如何在不计算真实值与预测值的差值的情况下获得训练损失? 解释如下:
    • 对于第一个函数:样本标签的真实值为1时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近1,即分类越接近正确,损失越小(因为真实值为1);预测值越接近0,即分类越离谱,损失越大(因为真实值为1)。****【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】
    • 对于第二个函数:样本标签的真实值为0时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近0,即分类越接近正确,损失越小(因为真实值为0);预测值越接近1,即分类越离谱,损失越大(因为真实值为0)。【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】

二、简化损失函数:

我们可以将分段函数L进行简化:

得到最终的损失函数:

相关推荐
徐小夕7 小时前
花了一周,3亿tokens,我开源了一款 Word 文档智能审查平台,文稿自动质检+可视化分析,告别低效人工审核
前端·算法·github
可编程芯片开发8 小时前
UPFC统一潮流控制器的simulink建模与仿真
算法
小小仙子9 小时前
矢量网络分析仪如何测试S参数的?
人工智能·算法·机器学习
中微极客10 小时前
降维算法75倍加速:从PCA到稀疏字典学习的工程实践
人工智能·学习·算法
storyseek11 小时前
前缀和实现Kogge-Stone算法
数据结构·算法
元Y亨H11 小时前
开发者必须掌握的十大核心算法
算法
元Y亨H11 小时前
深度解构:数据结构与算法的理论基石与工程演进
数据结构·算法
元Y亨H11 小时前
数据结构与算法的通俗指南
数据结构·算法
2301_7644413312 小时前
用动力学系统(微分方程)为 Kernberg 的客体关系单元提供数学化的操作定义,把“自体—客体“这对心理结构建模成一个二维耦合系统
数据结构·python·算法·数学建模