Scikit-Learn逻辑回归

Scikit-Learn逻辑回归

1、逻辑回归概述

1.1、逻辑回归

逻辑回归(Logistic Regression)主要解决二分类问题,用来表示某个事件发生的可能性。逻辑回归在机器学习知识结构中的位置如下:

逻辑回归的思想最早可以追溯到19世纪,由英国统计学家Francis Galton在研究豌豆遗传问题时首次提出。然而,真正将逻辑回归应用于机器学习的是加拿大统计学家Hugh Everett,他在1970年代提出了广义线性模型(GLM),其中包括逻辑回归

逻辑回归这个算法的名称有一定的误导性。虽然它的名称中有"回归",当它在机器学习中不是回归算法,而是分类算法。因为采用了与回归类似的思想来解决分类问题,所以它才会被称为逻辑回归

在逻辑回归中,我们不是直接预测输出值,而是预测输出值属于某一特定类别的概率。例如,一封邮件是垃圾邮件的概率(是与不是),广告被点击的概率(点与不点)

逻辑回归的函数表达式(Logistic函数或Sigmoid函数)为
s ( z ) = 1 1 + e − z s(z)=\frac{1}{1+e^{-z}} s(z)=1+e−z1

其对应的图像为

python 复制代码
import numpy as np
import matplotlib.pyplot as plt

z = np.arange(-5, 5, 0.01)
y = 1/(1+np.exp(-z))

plt.plot(z, y)
plt.show()

逻辑回归基于概率来进行分类。对于给定输入特征X,逻辑回归模型会计算输出标签y=1(正类)的条件概率:
P ( y = 1 ∣ X ) = 1 1 + e − ( ω X + b ) P(y=1|X)=\frac{1}{1+e^{-(\omega X+b)}} P(y=1∣X)=1+e−(ωX+b)1

其中, ω \omega ω是特征权重,b是偏置项

逻辑回归将线性回归的结果 y y y= ω X \omega X ωX+ b b b带入到Sigmoid函数的自变量,并将其映射到0和1之间,使其可以解释为概率

更多关于逻辑回归的介绍见文章:传送门

1.2、逻辑回归的优缺点

优点:

  • 模型简单,分类计算量小,存储资源低,训练和预测速度快
  • 预测结果是观测样本的概率,易于理解,增加了解释性
  • 对逻辑回归而言,多重共线性并不是问题,它可以结合L2正则化来解决该问题

缺点:

  • 只能处理二分类问题,且逻辑回归假设数据是线性可分的,对于非线性特征,需要进行转换
  • 容易欠拟合,一般准确度不太高

1.3、逻辑回归与线性回归

逻辑回归与线性回归的区别详见文章:传送门

2、逻辑回归的原理

2.1、逻辑回归的概念与原理

逻辑回归的概念与原理推导详见文章:传送门

2.2、逻辑回归的损失函数

逻辑回归的损失函数及推导详见文章:传送门

3、

相关推荐
山海不说话6 小时前
视频行为标注工具BehaviLabel(源码+使用介绍+Windows.Exe版本)
人工智能·python·计算机视觉·视觉检测
liuzhenghua668 小时前
Python任务调度模型
java·运维·python
小前端大牛马8 小时前
java教程笔记(十一)-泛型
java·笔记·python
sjtu_cjs8 小时前
Tensorrt python api 10.11.0笔记
开发语言·笔记·python
哆啦A梦的口袋呀8 小时前
深入理解系统:UML类图
开发语言·python·uml
虎冯河8 小时前
怎么让Comfyui导出的图像不包含工作流信息,
开发语言·python
葬爱家族小阿杰9 小时前
python执行测试用例,allure报乱码且未成功生成报告
开发语言·python·测试用例
xx155802862xx9 小时前
Python如何给视频添加音频和字幕
java·python·音视频
酷爱码9 小时前
Python实现简单音频数据压缩与解压算法
开发语言·python
花果山总钻风9 小时前
SQLAlchemy 中的 func 函数使用指南
python