
之前我们提到了常见的任务和算法,本篇我们使用逻辑回归 来进行分类
分类问题 | 回归问题 | 聚类问题 | 各种复杂问题 |
---|---|---|---|
决策树√ | 线性回归√ | K-means√ | 神经网络√ |
逻辑回归√ | 岭回归 | 密度聚类 | 深度学习√ |
集成学习√ | Lasso回归 | 谱聚类 | 条件随机场 |
贝叶斯 | 层次聚类 | 隐马尔可夫模型 | |
支持向量机 | 高斯混合聚类 | LDA主题模型 |
目录
一.分类问题
分类是将样本划分到已知的目标类中。它从数据中学习一个分类决策函数或分类模型(也称为分类器classifier),判断新的未知数据的类别 。分类问题的目标不是连续值,而是有限个离散值,即类别。

这时我们想知道,线性回归的方法可以解决我们的分类问题吗?

但是如果点的分布更复杂,如右下角又多出一些点(图3),从图中看原来的分割线依然有效。但新的回归训练得到的分割线将如图4紫色线所示。已有的点有明显的分类错误,无法在现有训练集上得到好的线性分类函数。

所以我们需要一个分类算法来处理这类问题,也就是我们的逻辑回归。
二.逻辑回归的基本原理
(1)逻辑回归
逻辑回归是一种监督学习算法。通过对有标记的样本数据进行学习,获得一个二分类决策函数,用来预测未知数据的类别。

sigmoid函数可以将负无穷到正无穷的自变量的值得计算结果,映射到0到1的值。

所以说先线性回归再逻辑回归,最后再进行判断的决策。
(2)逻辑回归模型的参数学习



(3)逻辑回归模型的决策边界

而这里的b+w1x1+w2x2 = 0,就是可以看作进行逻辑学习后得到的决策边界。



(4)应用案例:银行贷款审批

(5)小结

三.基于Scikit-learn实现逻辑回归
(1)Python支持的逻辑回归实现

(2)逻辑回归应用案例实现










(3)用逻辑回归实现多元分类


(4)机器学习一般流程总结

四.分类模型的性能评估
(1)平衡问题分类模型的性能评估

接下来我们用代码来实现 :

(2)非平衡问题分类模型的性能评估




(3)小结

