(四)机器学习---逻辑回归及其Python实现

之前我们提到了常见的任务和算法,本篇我们使用逻辑回归 来进行分类

分类问题 回归问题 聚类问题 各种复杂问题
决策树√ 线性回归√ K-means√ 神经网络√
逻辑回归√ 岭回归 密度聚类 深度学习√
集成学习√ Lasso回归 谱聚类 条件随机场
贝叶斯 层次聚类 隐马尔可夫模型
支持向量机 高斯混合聚类 LDA主题模型

目录

一.分类问题

二.逻辑回归的基本原理

(1)逻辑回归

(2)逻辑回归模型的参数学习

(3)逻辑回归模型的决策边界

(4)应用案例:银行贷款审批

(5)小结

三.基于Scikit-learn实现逻辑回归

(1)Python支持的逻辑回归实现

(2)逻辑回归应用案例实现

(3)用逻辑回归实现多元分类

(4)机器学习一般流程总结

四.分类模型的性能评估

(1)平衡问题分类模型的性能评估

(2)非平衡问题分类模型的性能评估

(3)小结


一.分类问题

分类是将样本划分到已知的目标类中。它从数据中学习一个分类决策函数或分类模型(也称为分类器classifier),判断新的未知数据的类别 。分类问题的目标不是连续值,而是有限个离散值,即类别。

这时我们想知道,线性回归的方法可以解决我们的分类问题吗?

但是如果点的分布更复杂,如右下角又多出一些点(图3),从图中看原来的分割线依然有效。但新的回归训练得到的分割线将如图4紫色线所示。已有的点有明显的分类错误,无法在现有训练集上得到好的线性分类函数。

所以我们需要一个分类算法来处理这类问题,也就是我们的逻辑回归


二.逻辑回归的基本原理

(1)逻辑回归

逻辑回归是一种监督学习算法。通过对有标记的样本数据进行学习,获得一个二分类决策函数,用来预测未知数据的类别。

sigmoid函数可以将负无穷到正无穷的自变量的值得计算结果,映射到0到1的值

所以说先线性回归再逻辑回归,最后再进行判断的决策。

(2)逻辑回归模型的参数学习

(3)逻辑回归模型的决策边界

而这里的b+w1x1+w2x2 = 0,就是可以看作进行逻辑学习后得到的决策边界。

(4)应用案例:银行贷款审批

(5)小结


三.基于Scikit-learn实现逻辑回归

(1)Python支持的逻辑回归实现

(2)逻辑回归应用案例实现

(3)用逻辑回归实现多元分类

(4)机器学习一般流程总结


四.分类模型的性能评估

(1)平衡问题分类模型的性能评估

接下来我们用代码来实现 :

(2)非平衡问题分类模型的性能评估

(3)小结

相关推荐
struggle202523 分钟前
OramaCore 是您 AI 项目、答案引擎、副驾驶和搜索所需的 AI 运行时。它包括一个成熟的全文搜索引擎、矢量数据库、LLM界面和更多实用程序
人工智能·python·rust
zdy12635746882 小时前
python37天打卡
人工智能·深度学习·算法
chicpopoo2 小时前
Python打卡DAY40
人工智能·python·机器学习
waterHBO2 小时前
改进自己的图片 app
python
机器人梦想家2 小时前
【ROS2实体机械臂驱动】rokae xCoreSDK Python测试使用
python
yes or ok2 小时前
二、OpenCV图像处理-图像处理
图像处理·人工智能·opencv
Hygge-star2 小时前
【Java进阶】图像处理:从基础概念掌握实际操作
java·图像处理·人工智能·程序人生·职场和发展
开利网络3 小时前
数据资产化浪潮下,企业如何构建去中心化商业新生态?
大数据·数据库·人工智能·信息可视化·重构
jndingxin3 小时前
OpenCV CUDA模块直方图计算------用于在 GPU 上执行对比度受限的自适应直方图均衡类cv::cuda::CLAHE
人工智能·opencv·计算机视觉
代码讲故事3 小时前
解决 xmlsec.InternalError: (-1, ‘lxml & xmlsec libxml2 library version mismatch‘)
linux·python·pip·lxml·xmlsec·libxml2