05_逻辑回归 - 技术栈

文章目录

[1 概述](#1 概述)
[2 损失函数](#2 损失函数)
[3 API 使用](#3 API 使用)
[4 多分类](#4 多分类)
- [4.1 OvO OvR](#4.1 OvO OvR)
- [4.2 Softmax 回归](#4.2 Softmax 回归)

1 概述

逻辑回归（Logistic Regression）尽管名字中含有"回归"，但逻辑回归实际上是一种分类算法，用于处理二分类问题。逻辑回归通过将线性回归的输出作为输入，映射到 $0,1$ 区间，来表示某个类别的概率。

常用的映射函数是 sigmoid 函数： 𝑓 ( 𝑥 ) = 1 1 + 𝑒 − 𝑥 𝑓(𝑥)=\frac{1}{1+𝑒^{−𝑥}} f(x)=1+e−x1，将线性回归的输出作为输入会得到 {0, 1} 的输出。
𝑃 ( 𝑦 = 1 ∣ x ) = 1 1 + e − ( w T x + b ) 𝑃(𝑦=1∣x)=\frac{1}{1+e^{-(w^Tx+b)}} P(y=1∣x)=1+e−(wTx+b)1
𝑃 ( 𝑦 = 1 ∣ x ) 𝑃(𝑦=1∣x) P(y=1∣x)表示输出为 1 类的概率，根据逻辑回归结果和阈值来确认最终预测结果，若逻辑回归结果大于阈值则输出为 1类，反之输出为 0 类。
$0.5 0 0.7 0.5 0.5 0.9 0.1 1 0.6 0.6 0.1 0$ $- 1 2 0.5$ = $- 0.15 0.95 2.2 - 0.4$ → s i g m o i d $0.46257015 0.72111518 0.90024951 0.40131234$ → 与阈值 0.5 比较 $0 1 1 0$ \begin{aligned} & \begin{bmatrix} 0.5 & 0 & 0.7 \\ 0.5 & 0.5 & 0.9 \\ 0.1 & 1 & 0.6 \\ 0.6 & 0.1 & 0 \end{bmatrix} \begin{bmatrix} -1 \\ 2 \\ 0.5 \end{bmatrix}=\quad \begin{bmatrix} -0.15 \\ 0.95 \\ 2.2 \\ -0.4 \end{bmatrix}\quad\xrightarrow{\mathrm{sigmoid}} \begin{bmatrix} 0.46257015 \\ 0.72111518 \\ 0.90024951 \\ 0.40131234 \end{bmatrix}\xrightarrow{\text{与阈值 }0.5\text{ 比较}}\quad \begin{bmatrix} 0 \\ 1 \\ 1 \\ 0 \end{bmatrix} \end{aligned} 0.50.50.10.600.510.10.70.90.60 −120.5 = −0.150.952.2−0.4 sigmoid 0.462570150.721115180.900249510.40131234 与阈值 0.5 比较 0110

实际逻辑回归是一个翻译错误，Logistic 并没有回归的意思，而是来自统计学中的 log odds（对数几率），后来发明了一个词 Logit 来描述，实际应为对数几率回归，或对率回归。

2 损失函数

逻辑回归的损失函数通常使用对数损失（Log Loss），也称为二元交叉熵损失（Binary Cross-Entropy Loss），用于衡量模型输出的概率分布与真实标签之间的差距。逻辑回归的损失函数来源于最大似然估计（MLE）。

对数似然：
log ⁡ L ( y , F ( X ) ) = ∑ i = 1 n y i l o g p x i + ( 1 − y i ) l o g ( 1 − p x i ) \log L({y,F(X)})=\sum_{i=1}^ny_i\mathrm{log}\,p_{x_i}+(1-y_i)\mathrm{log}\,(1-p_{x_i}) logL(y,F(X))=i=1∑nyilogpxi+(1−yi)log(1−pxi)
y i y_i yi 是第 i i i 个样本的真实值(0 或 1)， p x i p_{x_i} pxi 是第 i i i 个样本属于类别 1 的概率。当 y i y_i yi 为 1 时，右边消掉，当 y i y_i yi 为 0 时，左边消掉，概率越低，把握越小，则 log 值越小，当似然函数最大时，损失最小。

拟合就是求似然函数的最大值，为了方便优化，令损失函数为：
L o s s = − 1 n ∑ i = 1 n y i l o g p x i + ( 1 − y i ) l o g ( 1 − p x i ) Loss=-\frac{1}{n}\sum_{i=1}^ny_i\mathrm{log}\,p_{x_i}+(1-y_i)\mathrm{log}\,(1-p_{x_i}) Loss=−n1i=1∑nyilogpxi+(1−yi)log(1−pxi)

加上负号，求解损失函数的最小值即可， 1 n \frac{1}{n} n1 则类似均方误差中的平均。

3 API 使用

python 复制代码

from sklearn.linear_model import LogisticRegression

model = LogisticRegression()

model.fit(X_train, X_test)

penalty：指定正则化类型，用于控制模型复杂度，防止过拟合，默认值为 l2。
C：正则化强度的倒数，默认值为 1.0。较小的 C 值会加强正则化（更多限制模型复杂度），较大的 C 值会减弱正则化（更注重拟合训练数据）。
solver：指定优化算法，默认值为 lbfgs，可选值包括：
- 'lbfgs': 拟牛顿法（默认），仅支持 L2正则化
- 'newton-cg': 牛顿法，仅支持 L2正则化
- 'liblinear': 坐标下降法，适用于小数据集，支持 L1和 L2正则化
- 'sag': 随机平均梯度下降，适用于大规模数据集，仅支持 L2正则化
- 'saga': 改进的随机梯度下降，适用于大规模数据，支持 L1、L2和 ElasticNet正则化
multi_class：指定多分类问题的处理方式，默认值为 'auto'，根据数据选择 'ovr' 或 'multinomial'，前者表示一对多策略，适合二分类或多分类的基础情况，后者表示多项式回归策略，适用于多分类问题，需与 'lbfgs'、'sag' 或 'saga' 搭配使用。
fit_intercept：是否计算截距（偏置项），默认值为 True。
class_weight：类别权重，处理类别不平衡问题，默认值为 None，设置为 'balanced'可以根据类别频率自动调整权重。

4 多分类

逻辑回归通常用于二分类问题，但可以通过一对多（One-vs-Rest，OvR）、一对一（One-vs-One, OvO）以及 Softmax 回归（Multinomial Logistic Regression，多项逻辑回归）来扩展到多分类任务。

4.1 OvO OvR

OvO 存储开销和测试时间大，训练时间短
OvR 存储开销和测试时间小，训练时间长

python 复制代码

from sklearn.linear_model import LogisticRegression

model = LogisticRegression(
    multi_class='ovr'  # 设置 ovr 或者 ovo
)

multi_class在后续版本中将会被废弃，取而代之的是一个新的类来实现 OvO、OvR。

python 复制代码

from sklearn.multiclass import OneVsOneClassifier, OneVsRestClassifier

model1 = OneVsOneClassifier(estimator=LogisticRegression())
model2 = OneVsRestClassifier(estimator=LogisticRegression())

4.2 Softmax 回归

Softmax 回归（多项逻辑回归）直接扩展逻辑回归到多分类问题，使用 Softmax 函数将模型输出转化为概率分布。

对于类别 c：
P ( y = c ∣ x ) = e β c T x ∑ j = 1 C e β j T x P(y=c|x)=\frac{e^{\beta_{c}^{T}x}}{\sum_{j=1}^{C}e^{\beta_{j}^{T}x}} P(y=c∣x)=∑j=1CeβjTxeβcTx

损失函数：
L o s s = − 1 n ∑ i = 1 n ∑ c = 1 C I ( y i = c ) l o g P ( y i = c ∣ x i ) Loss=-\frac{1}{n}\sum_{i=1}^{n}\sum_{c=1}^{C}I(y_{i}=c)\mathrm{log}P(y_{i}=c|x_{i}) Loss=−n1i=1∑nc=1∑CI(yi=c)logP(yi=c∣xi)

其中 𝐼 ( 𝑦 𝑖 = c ) 𝐼(𝑦_𝑖 =c) I(yi=c) 为示性函数，当 𝑦 𝑖 = c 𝑦_𝑖 =c yi=c 时值为 1，反之值为 0。

优点：只训练 1 个模型，计算高效，分类一致性更好。
缺点：计算 Softmax 需要对所有类别求指数，计算量较高。

python 复制代码

from sklearn.linear_model import LogisticRegression

model = LogisticRegression(multi_class="multinomial")

对于多分类问题，LogisticRegression 会自动使用 multinomial，因此 multi_class 参数可省略。整体来看，大多数情况 Softmax 更加优秀，这也是为什么要把 multi_class 移除。