【机器学习】逻辑回归

目录

一、什么是逻辑回归

二、Sigmoid函数

三、更新参数

四、总结


一、什么是逻辑回归

逻辑回归并不是解决回归任务的,而是常用于解决二分类任务的。

逻辑回归是最简单的机器学习算法 ,但这并不意味着它是最没用的。因为像神经网络这种复杂的机器学习算法,一是会消耗时间计算机资源,二是过于强大而导致提高了过拟合风险(计算机容易学死),对于所有问题并不是用神经网络的效果一定比简单的算法效果好。所以选择机器学习算法时,是先选择简单的,效果不行的情况下,再选择复杂的 。因此,逻辑回归通常是作为基准模型 ,是最常用到的机器学习算法

逻辑回归的决策边界可以是非线性的,形象地说,将两个类别分开的线可以是直线(线性),也可以是弯曲的线类似下图所示(非线性)。

二、Sigmoid函数

将回归任务转换为分类任务,需要将预测值(预测的实际数值)转换为概率值(属于当前类别的概率),即0~1的数值,这个转换用Sigmoid函数实现。公式如下:

式(1)

函数图像如下:

三、交叉熵损失

交叉熵损失是一种损失函数,常与Softmax激活函数搭配,解决多分类问题。它等于m个样本的平均交叉熵误差,公式如下:

如果第 i 个样本的标签为第 k 个类别,那么 的值就是1, 的值就是0。因此,多分类问题的交叉熵损失只与样本的真实类别对应的模型预测概率有关 ,这适用于每个类别都是互斥的情况,即每个样本只能被标记为一种标签的情况

四、更新参数

预测函数、最小似然估计、梯度下降详细内容,参考链接:http://t.csdnimg.cn/S9bfQ

将预测函数带入式(1),预测值转换为概率值,得到:

,其中,i 表示第 i 个特征。

二分类任务中真值1表示属于该类,真值0表示不属于该类,分别对应的预测函数为:

式(2)

式(3)

但这样分开求损失函数计算权重,并不方便,因此需要合并,得到最终的预测函数

,当y=1,变成式(2);当y=0,变成式(3)。

然后接着做极大似然估计,似然函数

,其中 i 表

示第 i 个样本。

似然函数取对数

,其中i表示第 i 个样本。

但是在反向传播中,我们通常习惯于做梯度下降任务,因为这符合逻辑上的将损失降到最小,因此将取对数的结果再加上负号,把梯度上升问题改为了梯度下降问题。除以m是取损失的平均值,得到了二分类交叉熵

,其中 i 表示第 i 个样本,m表示样本总数。二分类交叉熵是一种损失函数,是交叉熵的一个特例,常与Sigmoid激活函数搭配使用,处理二分类问题 。想用逻辑回归解决多分类问题,需要用Softmax激活函数和交叉熵损失函数。

求导过程(不重要,我们只需要知道结果):

其中,i 表示第 i 个样本,j 表示第 j 个特征,最后要把求得梯度反向才是梯度下降的方向。

参数更新

四、总结

基本上所有的分类问题都可以用逻辑回归解决。它的求解速度快 ;模型可解释性强 ,很多参数都有物理含义,便于我们理解,比如大的表示特征重要,小的表示特征不重要。但是像神经网络、支持向量机这种复杂的算法,它计算得到的很多参数都是没有物理意义的,只是求得的结果有用而已,不利于理解。因此,拿到任务后建议先用逻辑回归试一下,不行再考虑一些复杂的算法。

相关推荐
在猴站学算法3 小时前
机器学习(西瓜书) 第二章 模型评估与选择
人工智能·机器学习
科技宅说4 小时前
36氪专访丨乐橙CEO谢运:AI科技下的业务创新与长期主义下的品牌坚守
人工智能·科技
学术小八5 小时前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
仗剑_走天涯6 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
cnbestec7 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl7 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji8 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头10 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域10 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊11 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor