逻辑回归介绍

学习目标

了解逻辑回归的应用场景
知道逻辑回归的原理
掌握逻辑回归的损失函数和优化方案

逻辑回归（Logistic Regression）是机器学习中的 一种分类模型 ，逻辑回归是一种 分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。

1 逻辑回归的应用场景

广告点击率
是否为垃圾邮件
是否患病
金融诈骗
虚假账号
看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。 逻辑回归就是解决二分类问题的利器

2 逻辑回归的原理

要想掌握逻辑回归，必须掌握两点：

逻辑回归中，其输入值是什么
如何判断逻辑回归的输出

2.1 输入

逻辑回归的输入就是一个 线性回归的结果。（一种分类模型，把线性回归的输出，作为逻辑回归的输入）

2.2 激活函数

sigmoid函数

作用把(-∞, +∞) 映射到 (0， 1)
数学性质单调递增函数拐点在x=0,y=0.5的位置
导函数公式

判断标准
回归的结果输入到sigmoid函数当中
输出结果： $0, 1$ 区间中的一个概率值，默认为0.5为阈值

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）
输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.55，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。
关于 逻辑回归的阈值是可以进行改变的，比如上面举例中，如果你把阈值设置为0.6，那么输出的结果0.55，就属于B类。
在之前，我们用 最小二乘法 衡量线性回归的损失
在逻辑回归中，当预测结果不对的时候，我们该怎么衡量其损失呢？
我们来看下图(下图中，设置阈值为0.6)，

准确率：总共预测了5个，其中正确了两个，所以准确率是0.4
那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

3 损失以及优化

3.1 损失

逻辑回归的损失，称之为 对数似然损失，公式如下：

yi是预测的结果，hθ(x)=sigmoid(w^Tx + b )是逻辑回归的输出结果
损失函数的工作原理：每个样本预测值有A、B两个类别，真实类别对应的位置，概率值越大越好

损失函数推导过程

1、1个样本的概率表示
假设：有 0、1 两个类别，某个样本被分为 1 类的概率为 p,
则分为 0 类的概率为 1-p，则每一个样本分类正确的概率为：

样本类别为y=1概率是p、样本类别y=0概率是(1-p), 合成一个式子

我们对损失函数的希望是：当样本是1类别，模型预测的p越大越好；
当样本是0类别，模型预测的(1-p)越大越好；
2、n个样本的概率表示
假设：有样本 $(x_1, y_1), (x_1, y_2) ..., (x_n, y_n)$ ，n个样本，所有样本都预测正确的概率为：

pi 表示每个样本被分类正确时的概率
yi 表示每个样本的真实类别（0或1）
问题转化为：让联合概率事件最大时，估计w、b的权重参数，这就是极大似然估计
3、极大似然函数转对数似然函数，取log优化函数：连乘形式转换为对数加法形式

最大化问题将其变为最小化问题：

理解

分开类别写法：

为预测值对应的概率值。
怎么理解单个的式子呢？这个要根据log的函数图像来理解

无论何时，我们都希望 损失函数值，越小越好
分情况讨论，对应的损失函数值：

接下来我们呢带入上面那个例子来计算一遍，就能理解意义了。

计算损失：= [ 1log0.4 + (1-1)log(1-0.4) + # 第1个样本产生的损失
0log0.68 + (1-0)log(1-0.68) + # 第2个样本产生的损失
1log0.41 + (1-1)log(1-041) + ....
我们已经知道，-log(P), P值越大，结果越小，所以我们可以对着这个损失的式子去分析

3.2 优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数， 提升原本属于1类别的概率，降低原本是0类别的概率。

4 小结

逻辑回归概念【知道】
- 解决的是一个二分类问题
- 逻辑回归的输入是线性回归的输出
逻辑回归的原理【掌握】
- 输入：
  - 线性回归的输出
- 激活函数
  - sigmoid函数
  - 把整体的值映射到 $0,1$
  - 再设置一个阈值，进行分类判断
逻辑回归的损失和优化【掌握】
- 损失
  - 对数似然损失
  - 借助了log思想，进行完成
  - 真实值等于0，等于1两种情况进行划分
- 优化
  - 提升原本属于1类别的概率，降低原本是0类别的概率。

逻辑回归api介绍

学习目标

知道逻辑回归api的用法

sklearn.linear_model.LogisticRegression(solver='liblinear', penalty='l2', C = 1.0)
参数:
默认: 'liblinear'；用于优化问题的算法。
对于小数据集来说，"liblinear"是个不错的选择，而"sag"和'saga'对于大型数据集会更快。
对于多类问题，只有'newton-cg'， 'sag'， 'saga'和'lbfgs'可以处理多项损失;"liblinear"仅限于"one-versus-rest"分类。
l2（ L2正则化）
l1（L1正则化）
LogisticRegression方法相当于 SGDClassifier(loss="log", penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习。而使用LogisticRegression(实现了SAG)