逻辑回归中的损失函数

一、损失函数介绍:

  • 回归问题成本函数不同的是 ,逻辑回归模型(解决分类问题)的成本函数在获得损失J的时候不再用真实值y与预测值y^的差值计算损失,真实值y不再出现在公式中作为计算项
  • 首先,该次训练损失为训练集中所有样本损失求和取平均值。
  • 其次,上述损失函数如何在不计算真实值与预测值的差值的情况下获得训练损失? 解释如下:
    • 对于第一个函数:样本标签的真实值为1时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近1,即分类越接近正确,损失越小(因为真实值为1);预测值越接近0,即分类越离谱,损失越大(因为真实值为1)。****【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】
    • 对于第二个函数:样本标签的真实值为0时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近0,即分类越接近正确,损失越小(因为真实值为0);预测值越接近1,即分类越离谱,损失越大(因为真实值为0)。【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】

二、简化损失函数:

我们可以将分段函数L进行简化:

得到最终的损失函数:

相关推荐
zl_vslam4 小时前
SLAM中的非线性优-3D图优化之轴角在Opencv-PNP中的应用(一)
前端·人工智能·算法·计算机视觉·slam se2 非线性优化
是苏浙4 小时前
零基础入门C语言之C语言实现数据结构之顺序表应用
c语言·数据结构·算法
koo3645 小时前
李宏毅机器学习笔记43
人工智能·笔记·机器学习
lkbhua莱克瓦245 小时前
Java基础——常用算法3
java·数据结构·笔记·算法·github·排序算法·学习方法
小白程序员成长日记5 小时前
2025.11.07 力扣每日一题
数据结构·算法·leetcode
·白小白5 小时前
力扣(LeetCode) ——209. 长度最小的子数组(C++)
c++·算法·leetcode
小猪咪piggy5 小时前
【算法】day16 动态规划
算法·动态规划
ohnoooo95 小时前
251106 算法
数据结构·c++·算法
uesowys5 小时前
华为OD算法开发指导-简易内存池
java·算法·华为od
Greedy Alg5 小时前
LeetCode 155. 最小栈
算法