1 概述
Logistic回归（逻辑回归）是基础的分类模型，将输出限定在0-1之间，表示分类的概率。在分类时，可设定阈值为0.5，概率超过0.5表示正例，小于0.5表示负例。应用场景包括医学检测（是否患病，肿瘤良性恶性）、金融（信用卡违约）、市场营销（客户是否流失）等。
2 Logistic分布
Logistic分布是一种连续型概率分布，假设随机变量X服从Logistic分布，则X的分布函数为
概率密度为
当,
时，称函数
为标准Logistic函数，也称为Sigmoid函数。
3 Logistic回归模型
Logistic回归虽然名字叫"回归"，但实际是分类算法，将线性回归（z=b0+b1x1+b2x2+...）的输出值转换为0到1之间的概率值，而转换的方法就是上文提到的Sigmoid函数，即y=Sigmoid(z)。
因此Logistic回归表示为
3.1 Odds几率
注意到y是概率，记为p，那么称odds几率为事件发生与不发生概率的比值，即
3.2 Logit对数几率
称logit为对数几率，表示为log(odds)，即线性回归的部分。
因此Logistic回归模型也称为对数几率模型，也就是满足对数几率是线性回归的模型。
化简后，即可得到Logistic回归模型。
4 极大似然函数与损失函数
可以由似然函数推导损失函数，对数似然函数等于负的损失函数。
对于给定的训练集(x1,y1),(x2,y2),(x3,y3)...，其中y是0或1，
记π(x)=P(Y=1|X)，则1-π(x)=P(Y=0|X)，其中π(x)是要学习的目标参数
似然函数为：
似然函数是指给定参数情况下，出现这个样本的概率。可以发现当y=1时，上式为π(x)；当y=0时，上式为1-π(x)，符合似然函数的概念。
对数似然函数为
损失函数即为上式的相反数，通过梯度下降等方法求得参数。
在计算梯度时，y对x的梯度很容易求得，这是因为Sigmoid函数的特性是导数等于y(1-y)。
此外Sigmoid函数也常用于早期的神经网络的激活函数，在计算梯度时也可利用此性质。
5 优缺点
优点是模型简单、计算效率高、可解释性强。
缺点是线性假设过强，可能导致欠拟合。