机器学习算法详解3：逻辑回归
前言
本系列主要对机器学习上算法的原理进行解读，给大家分享一下我的观点和总结。
本篇前言
本篇对逻辑回归的算法原理进行解读。
目录结构
文章目录
-
- 机器学习算法详解3：逻辑回归
-
- [1. 引子](#1. 引子)
- [2. sigmoid函数](#2. sigmoid函数)
- [3. 原理推导](#3. 原理推导)
- [4. 交叉熵损失函数推导](#4. 交叉熵损失函数推导)
-
- [4.1 信息熵](#4.1 信息熵)
- [4.2 KL散度](#4.2 KL散度)
- [4.3 交叉熵推导](#4.3 交叉熵推导)
- [4.4 交叉熵损失函数推导](#4.4 交叉熵损失函数推导)
- [5. 为什么选用sigmoid函数？](#5. 为什么选用sigmoid函数？)
- [6. 总结](#6. 总结)
1. 引子
在上一篇提及一个概念广义线性回归，而逻辑回归也是与之相关。
假设我们有一个曲线，如下：
假设它的表达式为y=wx，其中y的值是符合lnx的分布的。那么，可以进行线性映射lny = wx ，变为y=e^(wx)，即真正的表达式y=e^(wx)可以变为最初的广义线性形式y=wx（只是此处的y符合lnx分布而已）。
换而言之，我们可以将e^(wx)看作是一个普通的ax，那么逻辑回归就是将这个普通的ax作为某个函数的输入，让函数的输出在[0,1]之间，相当于输出的是概率值，就成了。
2. sigmoid函数
上面提及某函数，那么选择什么样的函数呢？
首先，函数必须满足的要求是：输出值在[0,1]之间。满足这个要求的函数非常多，比如符号函数：
但是，这个函数有一个重要缺点：不是连续可导的（在x=0这个点） 。这样会导致我们在优化损失函数的时候，无法直接求导，需要分情况进行求导。其次，这个函数有个小缺点：太僵硬了，只能取1、0这两个值。
针对上述情况，我们提出这个函数要满足的新要求：连续可导，最好是光滑曲线。
那么，前人们找到一个函数，名为 sigmoid函数，公式如下：
函数图像如下：
并且，值得注意的一点是，sigmoid函数的导数非常特殊，其倒数公式如下：
3. 原理推导
基本的导数求法，非常的简单。
4. 交叉熵损失函数推导
4.1 信息熵
要对交叉熵进行推导，首先需要明白什么是信息熵。（本来应该在决策树那里讲的）
熵，大家应该都明白，就是描述一个系统的混乱程度。那么信息熵，就相当于描述一个信息的有用程度。
公式如下：
4.2 KL散度
有时候也称之为KL距离，但是其实并不是真正的距离，因为不符合距离的对称性质。
其衡量两个分布P、Q的相似程度，公式如下：
举个计算的例子：
4.3 交叉熵推导
4.4 交叉熵损失函数推导
该损失函数的推导可以从三个角度入手，分别是sigmoid入手、极大似然估计入手和KL散度入手。这里我接受最后一种推导。
逻辑回归损失函数即衡量真实分布和预测分布的相似性------即KL散度 ，那么推导过程和上面相似，只是把P and Q换为了y and y^，通过上面可以知道最后的KL散度与交叉熵的值正相关，因此我们可以通过交叉熵构建出损失函数来代替KL散度以衡量真实分布和预测分布的相似程度，即公式：（下面分为两个部分是因为一个为正样本、一个为负样本而已）
5. 为什么选用sigmoid函数？
这个问题也可以这么问：sigmoid函数怎么推出来的？这个是我偶然看视频发现的，我个人觉得有一定的道理，所以在这里分享一下：
对于真实大数据场景，数据的每个特征基本都符合正太分布，并且一般标准差相同而均值不同（感觉上是对的，但是没有证明），那么如下图推导过程：
6. 总结
本篇讲解了逻辑回归的原理，逻辑回归主要应用于二分类任务，也是分类任务中常用的一个算法。
下一篇，讲解支持向量机算法。