1 逻辑回归
1.1 回归划分
广义线性模型家族里，依据因变量不同，可以有如下划分：
（1）如果是连续的，就是多重线性回归。
（2）如果是二项分布，就是逻辑回归。
（3）如果是泊松（Poisson）分布，就是泊松回归。
（4）如果是负二项分布，就是负二项回归。
（5）逻辑回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最常用的就是二分类的逻辑回归。
1.2 逻辑回归适用性
逻辑回归可用于以下几个方面：
（1）用于概率预测。用于可能性预测时，得到的结果有可比性。比如根据模型进而预测在不同的自变量情况下，发生某病或某种情况的概率有多大。
（2）用于分类。实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。进行分类时，仅需要设定一个阈值即可，可能性高于阈值是一类，低于阈值是另一类。
（3）寻找危险因素。寻找某一疾病的危险因素等。
（4）仅能用于线性问题。只有当目标和特征是线性关系时，才能用逻辑回归。在应用逻辑回归时注意两点：一是当知道模型是非线性时，不适用逻辑回归；二是当使用逻辑回归时，应注意选择和目标为线性关系的特征。
（5）各特征之间不需要满足条件独立假设，但各个特征的贡献独立计算。
1.3 生成模型和判别模型的区别
生成模型：由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)（贝叶斯概率）。基本思想是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)，再利用它进行分类。典型的生成模型有朴素贝叶斯，隐马尔科夫模型等
判别模型：由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。典型的判别模型包括k近邻，感知级，决策树，支持向量机等。这些模型的特点都是输入属性X可以直接得到后验概率P(Y|X)，输出条件概率最大的作为最终的类别（对于二分类任务来说，实际得到一个score，当score大于threshold时则为正类，否则为负类）。
举例：
判别式模型举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。
生成式模型举例：利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，在放到绵羊模型中看概率是多少，哪个大就是哪个。
联系和区别：
生成方法的特点：上面说到，生成方法学习联合概率密度分布P(X,Y)，所以就可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。但它不关心到底划分各类的那个分类边界在哪。生成方法可以还原出联合概率分布P(Y,X)，而判别方法不能。生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快的收敛于真实模型，当存在隐变量时，仍可以用生成方法学习。此时判别方法就不能用。
判别方法的特点：判别方法直接学习的是决策函数Y=f(X)或者条件概率分布P(Y|X)。不能反映训练数据本身的特性。但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。直接面对预测，往往学习的准确率更高。由于直接学习P(Y|X)或P(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
最后，由生成模型可以得到判别模型，但由判别模型得不到生成模型。
1.4 逻辑回归与朴素贝叶斯有什么区别
逻辑回归与朴素贝叶斯区别有以下几个方面：
（1）逻辑回归是判别模型， 朴素贝叶斯是生成模型，所以生成和判别的所有区别它们都有。
（2）朴素贝叶斯属于贝叶斯，逻辑回归是最大似然，两种概率哲学间的区别。
（3）朴素贝叶斯需要条件独立假设。
（4）逻辑回归需要求特征参数间是线性的。
1.5 线性回归与逻辑回归的区别
线性回归与逻辑回归的区别如下描述：
（1）线性回归的样本的输出，都是连续值，$ y\in (-\infty ,+\infty ) ，而逻辑回归中 ，而逻辑回归中 ，而逻辑回归中y\in (0,1)$，只能取0和1。
（2）对于拟合函数也有本质上的差别：
线性回归： f ( x ) = θ T x = θ 1 x 1 + θ 2 x 2 + . . . + θ n x n f(x)=\theta ^{T}x=\theta _{1}x _{1}+\theta _{2}x _{2}+...+\theta _{n}x _{n} f(x)=θTx=θ1x1+θ2x2+...+θnxn
逻辑回归： f ( x ) = P ( y = 1 ∣ x ; θ ) = g ( θ T x ) f(x)=P(y=1|x;\theta )=g(\theta ^{T}x) f(x)=P(y=1∣x;θ)=g(θTx)，其中， g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+e−z1
可以看出，线性回归的拟合函数，是对f(x)的输出变量y的拟合，而逻辑回归的拟合函数是对为1类样本的概率的拟合。
那么，为什么要以1类样本的概率进行拟合呢，为什么可以这样拟合呢？
θ T x = 0 \theta ^{T}x=0 θTx=0就相当于是1类和0类的决策边界：
当 θ T x > 0 \theta ^{T}x>0 θTx>0，则y>0.5；若$\theta ^{T}x\rightarrow +\infty ，则 ，则 ，则y \rightarrow 1 $，即y为1类;
当 θ T x < 0 \theta ^{T}x<0 θTx<0，则y<0.5；若$\theta ^{T}x\rightarrow -\infty ，则 ，则 ，则y \rightarrow 0 $，即y为0类;
这个时候就能看出区别，在线性回归中 θ T x \theta ^{T}x θTx为预测值的拟合函数；而在逻辑回归中 θ T x \theta ^{T}x θTx为决策边界。下表2-3为线性回归和逻辑回归的区别。
表2-3 线性回归和逻辑回归的区别
| 线性回归 | 逻辑回归 | |
|---|---|---|
| 目的 | 预测 | 分类 |
| y ( i ) y^{(i)} y(i) | 未知 | （0,1） |
| 函数 | 拟合函数 | 预测函数 |
| 参数计算方式 | 最小二乘法 | 极大似然估计 |