逻辑回归中的损失函数

一、损失函数介绍:

  • 与回归问题成本函数不同的是 ,逻辑回归模型(解决分类问题)的成本函数在获得损失J的时候不再用真实值y与预测值y^的差值计算损失,真实值y不再出现在公式中作为计算项 。
  • 首先,该次训练损失为训练集中所有样本损失求和取平均值。
  • 其次,上述损失函数如何在不计算真实值与预测值的差值的情况下获得训练损失? 解释如下:
    • 对于第一个函数:样本标签的真实值为1时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近1,即分类越接近正确,损失越小(因为真实值为1);预测值越接近0,即分类越离谱,损失越大(因为真实值为1)。****【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】
    • 对于第二个函数:样本标签的真实值为0时适用的损失函数

      • 图像中横坐标为预测值y^,纵坐标为损失
      • 可以看到预测值越接近0,即分类越接近正确,损失越小(因为真实值为0);预测值越接近1,即分类越离谱,损失越大(因为真实值为0)。【这就非常神奇地在不计算真实值与预测值的差值的情况下获得了训练损失】

二、简化损失函数:

我们可以将分段函数L进行简化:

得到最终的损失函数:

相关推荐
kali-Myon11 分钟前
定向 FGSM 攻击:让神经网络《指猫为狗》
图像处理·python·神经网络·安全·机器学习·fgsm
学术小李19 分钟前
cudaMalloc第一个参数为何是指针的指针
算法
kukubuzai22 分钟前
二分查找系列一
数据结构·算法·leetcode
老歌老听老掉牙26 分钟前
动态规划:从递归到最优决策的算法艺术
算法·动态规划
xhy_070728 分钟前
AI 编程工具怎么选?Cursor、Copilot、Claude Code、Trae、WES Code 理解代码库的三条技术路线
人工智能·机器学习·copilot·知识图谱·ai编程·wes code
朔北之忘 Clancy29 分钟前
2024 CSP-J 第二轮真题解析
c++·算法·青少年编程·noip·csp·信奥赛·noi
深蓝学院43 分钟前
任少卿时隔十年再出手:MM-Future让自动驾驶“走一步想十步”
人工智能·机器学习·自动驾驶
小七在进步1 小时前
类和对象(五)
java·开发语言·算法
pjj198541 小时前
NLP-情感分析项目(四):训练评估 + 主函数
人工智能·深度学习·机器学习