逻辑回归（Logistic Regression）是一种广泛应用于分类任务的统计学方法，尤其是在二分类问题中表现尤为突出。尽管它的名字中包含"回归"，但实际上逻辑回归是一种分类算法。逻辑回归的目标是预测一个样本属于某一类别的概率，而不是预测一个连续值。
逻辑回归原理
逻辑回归的核心在于使用 Sigmoid 函数（也称为 Logistic 函数）来将线性回归的输出映射到 0, 1 之间的概率值。这个函数具有 S 形状，可以将任何实数映射到 0, 1 之间，非常适合用来表示概率。
Sigmoid 函数
Sigmoid 函数的数学表达式为：
其中 zz 是输入值，σ(z)σ(z) 是经过 Sigmoid 函数后的输出值。这个函数的特点是随着 zz 的增加，σ(z)σ(z) 逐渐接近 1；随着 zz 的减小，σ(z)σ(z) 逐渐接近 0。
模型表达式
逻辑回归模型的表达式可以表示为：
其中：
- ww 是权重向量，每个特征对应一个权重；
- xx 是输入特征向量；
- bb 是偏置项；
- P(y=1∣x)P(y=1∣x) 表示给定输入 xx 时，目标变量 yy 为 1 的概率。
损失函数
逻辑回归通常使用交叉熵损失函数（Cross-Entropy Loss）来衡量模型的预测结果与真实标签之间的差距。对于二分类问题，损失函数可以定义为：
其中：
梯度下降法
为了最小化损失函数，逻辑回归通常采用梯度下降法来更新权重向量 𝑤和偏置项 𝑏。梯度下降法的基本步骤如下：
- 初始化权重向量 𝑤和偏置项 𝑏；
- 计算损失函数关于 𝑤和 𝑏的梯度；
- 更新 𝑤和 𝑏：
其中 α 是学习率，决定了每次更新的步长。
示例计算梯度
对于权重向量 𝑤，损失函数的梯度为：
对于偏置项 𝑏，损失函数的梯度为：
通过不断迭代更新 w 和 b，直到损失函数收敛或者达到预定的最大迭代次数。
总结
逻辑回归是一种基于 Sigmoid 函数的概率模型，用于解决分类问题。它通过最小化交叉熵损失函数来学习最优的权重向量和偏置项。通过梯度下降法不断更新模型参数，使得模型能够更好地拟合训练数据，并用于预测新数据的类别。