机器学习-逻辑回归的成本函数

要用梯度下降,对模型进行训练,代价函数最好是凸函数,这样用梯度下降优化的时候,可以找到全局最小值,在线性回归中,成本函数是,均方误差,计算预测值和真实值的差值的平方,然后取平均值,来衡量模型的效果,线性回归他是凸函数,可以好到全局最小值,但是逻辑回归则也用这个方法不行,逻辑回归处理的是分类问题,是0-1之间的概率,用均方误差会遇到局部最小值,如图所示,

所以我们要找到一个新的损失函数来定于逻辑回归的成本函数,如下图所示

我们选择对数函数来做逻辑回归的成本函数,因为成本函数是一个给模型打分的一个函数,把模型的预测结果输入到成本函数中,成本函数给模型一个打分从而告诉模型准确程度,而逻辑回归是预测是一个概率,概率分布在0-1之间,我们设定一个阈值,这个阈值把0-1这个区间分成了两份,0-阈值,阈值-1,这个阈值就是决策边界,当概率落在第一个区间的时候,输出0,当概率落在第二个区间的时候,就输出1,所以当预测结果和真实结果不对的时候我们就要,惩罚模型,成本函数的输出就要大,例如,当我们要输出的是1但是模型预测的概率的是0.1,我们要告诉模型,0.1的概率不对,就要变大成本函数,所以,就要有一个函数,等于1的时候不要成本,不惩罚,与1偏差越大,惩罚成本就越高,刚好 对数函数 log就符合这个情况,而且还是凸函数,可以进行梯度下降,进行模型训练。

所以我们只关注对数函数 横轴0-1的部分,因为我们模型0要输出两种情况,0-1,所以要分情况去定义成本函数,1是一种情况,0是一种情况,在用代码实现的时候,也要对数据集的输出结果进行区分然后再带入模型进行训练,

下面是输出为0的时候的成本函数

相关推荐
Quintus五等升20 小时前
深度学习④|分类任务—VGG13
人工智能·经验分享·深度学习·神经网络·学习·机器学习·分类
2501_9361460420 小时前
小型机械零件识别与分类--基于YOLO12-A2C2f-DFFN-DYT模型的创新实现
人工智能·分类·数据挖掘
天天讯通20 小时前
金融邀约实时质检:呼叫监控赋能客服主管
人工智能·金融
飞Link21 小时前
深度解析 MSER 最大稳定极值区域算法
人工智能·opencv·算法·计算机视觉
夜勤月21 小时前
给AI装上“文件之手”:深入解析MCP文件系统服务的安全沙箱与读写实践
人工智能·安全
万物得其道者成21 小时前
UI UX Pro Max: AI 驱动的设计系统生成引擎深度解析
人工智能·ui·ux
码农三叔21 小时前
(3-2)机器人身体结构与人体仿生学:人形机器人躯干系统
人工智能·架构·机器人·人形机器人
bleuesprit21 小时前
LLM语言模型Lora微调
人工智能·语言模型·lora
sunxunyong21 小时前
CC2Github配置
人工智能
B站计算机毕业设计超人1 天前
计算机毕业设计Python知识图谱中华古诗词可视化 古诗词情感分析 古诗词智能问答系统 AI大模型自动写诗 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·人工智能·hadoop·python·机器学习·知识图谱·课程设计