逻辑回归(Logistic)模型

1 概述

Logistic回归(逻辑回归)是基础的分类模型,将输出限定在0-1之间,表示分类的概率。在分类时,可设定阈值为0.5,概率超过0.5表示正例,小于0.5表示负例。应用场景包括医学检测(是否患病,肿瘤良性恶性)、金融(信用卡违约)、市场营销(客户是否流失)等。

2 Logistic分布

Logistic分布是一种连续型概率分布,假设随机变量X服从Logistic分布,则X的分布函数为

概率密度为

,时,称函数为标准Logistic函数,也称为Sigmoid函数。

3 Logistic回归模型

Logistic回归虽然名字叫"回归",但实际是分类算法,将线性回归(z=b0+b1x1+b2x2+...)的输出值转换为0到1之间的概率值,而转换的方法就是上文提到的Sigmoid函数,即y=Sigmoid(z)。

因此Logistic回归表示为

3.1 Odds几率

注意到y是概率,记为p,那么称odds几率为事件发生与不发生概率的比值,即

3.2 Logit对数几率

称logit为对数几率,表示为log(odds),即线性回归的部分。

因此Logistic回归模型也称为对数几率模型,也就是满足对数几率是线性回归的模型。

化简后,即可得到Logistic回归模型。

4 极大似然函数与损失函数

可以由似然函数推导损失函数,对数似然函数等于负的损失函数。

对于给定的训练集(x1,y1),(x2,y2),(x3,y3)...,其中y是0或1,

记π(x)=P(Y=1|X),则1-π(x)=P(Y=0|X),其中π(x)是要学习的目标参数

似然函数为:

似然函数是指给定参数情况下,出现这个样本的概率。可以发现当y=1时,上式为π(x);当y=0时,上式为1-π(x),符合似然函数的概念。

对数似然函数为

损失函数即为上式的相反数,通过梯度下降等方法求得参数。

在计算梯度时,y对x的梯度很容易求得,这是因为Sigmoid函数的特性是导数等于y(1-y)。

此外Sigmoid函数也常用于早期的神经网络的激活函数,在计算梯度时也可利用此性质。

5 优缺点

优点是模型简单、计算效率高、可解释性强。

缺点是线性假设过强,可能导致欠拟合。

6 参考资料

https://zhuanlan.zhihu.com/p/586453822

相关推荐
max5006001 小时前
基于Meta Llama的二语习得学习者行为预测计算模型
人工智能·算法·机器学习·分类·数据挖掘·llama
王哥儿聊AI2 小时前
Lynx:新一代个性化视频生成模型,单图即可生成视频,重新定义身份一致性与视觉质量
人工智能·算法·安全·机器学习·音视频·软件工程
lisw053 小时前
连接蓝牙时“无媒体信号”怎么办?
人工智能·机器学习·微服务
手握风云-4 小时前
优选算法的寻踪契合:字符串专题
算法
jie*4 小时前
小杰机器学习(nine)——支持向量机
人工智能·python·机器学习·支持向量机·回归·聚类·sklearn
闭着眼睛学算法4 小时前
【华为OD机考正在更新】2025年双机位A卷真题【完全原创题解 | 详细考点分类 | 不断更新题目 | 六种主流语言Py+Java+Cpp+C+Js+Go】
java·c语言·javascript·c++·python·算法·华为od
nju_spy4 小时前
南京大学 - 复杂结构数据挖掘(一)
大数据·人工智能·机器学习·数据挖掘·数据清洗·南京大学·相似性分析
IT古董4 小时前
【第五章:计算机视觉-项目实战之目标检测实战】2.目标检测实战:中国交通标志检测-(2)中国交通标志检测数据格式转化与读取
算法·目标检测·计算机视觉
MobotStone4 小时前
LLM 采样入门到进阶:理解与实践 Top-K、Top-P、温度控制
算法
Coovally AI模型快速验证4 小时前
从避障到实时建图:机器学习如何让无人机更智能、更安全、更实用(附微型机载演示示例)
人工智能·深度学习·神经网络·学习·安全·机器学习·无人机