(四)机器学习---逻辑回归及其Python实现

之前我们提到了常见的任务和算法,本篇我们使用逻辑回归 来进行分类

分类问题 回归问题 聚类问题 各种复杂问题
决策树√ 线性回归√ K-means√ 神经网络√
逻辑回归√ 岭回归 密度聚类 深度学习√
集成学习√ Lasso回归 谱聚类 条件随机场
贝叶斯 层次聚类 隐马尔可夫模型
支持向量机 高斯混合聚类 LDA主题模型

目录

一.分类问题

二.逻辑回归的基本原理

(1)逻辑回归

(2)逻辑回归模型的参数学习

(3)逻辑回归模型的决策边界

(4)应用案例:银行贷款审批

(5)小结

三.基于Scikit-learn实现逻辑回归

(1)Python支持的逻辑回归实现

(2)逻辑回归应用案例实现

(3)用逻辑回归实现多元分类

(4)机器学习一般流程总结

四.分类模型的性能评估

(1)平衡问题分类模型的性能评估

(2)非平衡问题分类模型的性能评估

(3)小结


一.分类问题

分类是将样本划分到已知的目标类中。它从数据中学习一个分类决策函数或分类模型(也称为分类器classifier),判断新的未知数据的类别 。分类问题的目标不是连续值,而是有限个离散值,即类别。

这时我们想知道,线性回归的方法可以解决我们的分类问题吗?

但是如果点的分布更复杂,如右下角又多出一些点(图3),从图中看原来的分割线依然有效。但新的回归训练得到的分割线将如图4紫色线所示。已有的点有明显的分类错误,无法在现有训练集上得到好的线性分类函数。

所以我们需要一个分类算法来处理这类问题,也就是我们的逻辑回归


二.逻辑回归的基本原理

(1)逻辑回归

逻辑回归是一种监督学习算法。通过对有标记的样本数据进行学习,获得一个二分类决策函数,用来预测未知数据的类别。

sigmoid函数可以将负无穷到正无穷的自变量的值得计算结果,映射到0到1的值

所以说先线性回归再逻辑回归,最后再进行判断的决策。

(2)逻辑回归模型的参数学习

(3)逻辑回归模型的决策边界

而这里的b+w1x1+w2x2 = 0,就是可以看作进行逻辑学习后得到的决策边界。

(4)应用案例:银行贷款审批

(5)小结


三.基于Scikit-learn实现逻辑回归

(1)Python支持的逻辑回归实现

(2)逻辑回归应用案例实现

(3)用逻辑回归实现多元分类

(4)机器学习一般流程总结


四.分类模型的性能评估

(1)平衡问题分类模型的性能评估

接下来我们用代码来实现 :

(2)非平衡问题分类模型的性能评估

(3)小结

相关推荐
阳洞洞3 分钟前
leetcode 139. Word Break
算法·leetcode·word·动态规划
try to be better_fly5 分钟前
buctoj_算法设计与分析(5)
算法
Thanks_ks1 小时前
利用 Python 进行股票数据可视化分析
python·matplotlib·热力图·seaborn·可视化分析·股票数据·yfinance
云边有个稻草人1 小时前
思维与算法共舞:AIGC语言模型的艺术与科学
开发语言·算法·什么是语言模型?·多任务学习与多模态生成·客户服务与聊天机器人·自适应生成与定制化文本·预训练与微调
政安晨1 小时前
【嵌入式人工智能产品开发实战】(二十)—— 政安晨:小智AI嵌入式终端代码解读:【B】小智AI嵌入式终端OTA升级功能深度解析
c++·人工智能·嵌入式·ota·小智ai·代码解读·ai聊天助手
pzx_0011 小时前
【深度学习】自定义实现DataSet和DataLoader
开发语言·人工智能·python·深度学习·算法
努力向上的年轻人1 小时前
DeepSeek 与开源:肥沃土壤孕育 AI 硕果
人工智能·gitee·开源·deepseek·飞桨paddlepaddle·昇思mindspore
人工智能教学实践3 小时前
【深度学习】神经网络中,BatchNormalization(批量归一化)层
人工智能·深度学习·神经网络
Bonnie_12155 小时前
07-算法打卡-链表-移除链表-leetcode(203)-第七天
算法·leetcode·链表
槐月杰6 小时前
入门到精通,C语言十大经典程序
c语言·数据结构·算法