【漫话机器学习系列】112.逻辑回归（Logistic Regression）

逻辑回归（Logistic Regression）详解

1. 逻辑回归简介

逻辑回归（Logistic Regression）是一种广泛用于二分类任务 的统计和机器学习方法，尽管它的名字中带有"回归"，但它实际上是一种分类算法。

在逻辑回归中，我们希望根据输入特征 xxx 预测某个事件发生的概率 P(y=1∣x)，并通过逻辑函数（Sigmoid） 将输出值限制在 (0,1) 之间，使其可以被解释为概率。

2. 逻辑回归的数学原理

2.1 线性回归的不足

假设我们使用线性回归来做二分类问题：

然后我们希望通过某个阈值来决定类别：

如果 y ≥ 0.5，分类为 1；
如果 y < 0.5，分类为 0。

但这样有以下问题：

输出值没有限制：yyy 的取值范围是 (−∞,+∞)，但概率的范围应该是 (0,1)。
缺乏概率解释 ：二分类问题需要输出概率，但线性回归的输出无法自然解释为概率。

2.2 逻辑回归的核心思想

逻辑回归通过Sigmoid 函数（S 形函数） 来将线性回归的输出转换为概率：

P(y=1∣x)=σ(wTx+b)P(y=1 | x) = \sigma(w^T x + b)P(y=1∣x)=σ(wTx+b)

其中，Sigmoid 函数定义为：

性质：

当 z → +∞，σ(z) → 1；
当 z → −∞，σ(z) → 0；
当 z = 0，σ(z) = 0.5。

这个函数的形状如下：

这样，我们可以将输出值映射到 (0,1) 之间，并解释为概率。

2.3 逻辑回归的概率解释

逻辑回归实际上是在建模事件发生的概率：

可以改写为对数几率（Log-Odds）：

其中：

左边是对数几率（log-odds），即事件发生和不发生的比值取对数；
右边是线性回归模型。

这说明逻辑回归是对数几率的线性模型，也是它名称中带有"回归"的原因。

3. 逻辑回归的损失函数

在训练逻辑回归模型时，我们需要找到合适的参数 w 和 b，使得模型对数据的预测概率尽可能接近真实值。

3.1 交叉熵损失

由于逻辑回归的输出是一个概率，我们不能直接使用均方误差（MSE） ，而是使用交叉熵损失（Cross Entropy Loss）：

其中：

是真实标签（0 或 1）；
是模型预测的概率。

损失函数的直觉理解

如果真实标签是 1 ，那么只有第一项起作用，即希望模型预测的尽可能接近 1，否则损失较大。
如果真实标签是 0 ，那么只有第二项起作用，即希望模型预测的尽可能接近 0，否则损失较大。

因此，最优的 w 和 b 是使得交叉熵损失最小的参数。

4. 逻辑回归的优化

为了找到最优参数 w 和 b，我们通常使用**梯度下降法（Gradient Descent）**进行优化。

4.1 梯度下降法

我们需要计算损失函数对参数的梯度，然后更新参数：

其中：

α 是学习率（learning rate）。
和是损失函数的梯度。

梯度计算如下：

然后使用梯度下降进行迭代更新，直到收敛。

4.2 其他优化方法

批量梯度下降（BGD）：使用整个训练集计算梯度，适用于小规模数据。
随机梯度下降（SGD）：每次随机选取一个样本更新参数，适用于大规模数据。
小批量梯度下降（Mini-Batch SGD）：每次使用一个小批量的数据计算梯度，是最常用的方法。

5. 逻辑回归的应用

逻辑回归广泛应用于二分类问题，包括：

医学诊断（如判断患者是否患病）
信用评分（如判断贷款申请人是否违约）
垃圾邮件检测（如判断邮件是否是垃圾邮件）
广告点击率预测（如预测用户是否会点击广告）

此外，逻辑回归还可以扩展到多分类问题（Softmax 回归），用于处理多个类别的分类任务。

6. Python 代码实现

可以使用 sklearn 直接实现逻辑回归：

python 复制代码

from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 生成数据集
X, y = make_classification(n_samples=1000, n_features=5, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
print("Accuracy:", accuracy_score(y_test, y_pred))

7. 结论

逻辑回归是用于二分类问题的概率模型。
使用 Sigmoid 函数将线性回归的输出映射到 (0,1) 之间。
使用交叉熵损失函数来优化参数。
可以使用梯度下降进行优化，在实际应用中广泛使用。

逻辑回归虽然简单，但在许多实际任务中表现良好，尤其适用于可解释性要求较高的任务。