机器学习 | 逻辑回归 | 尚硅谷学习

5.1 逻辑回归简介

逻辑回归(Logistic Regression)是一种广义线性模型,主要用于处理分类问题。它通过对特征进行线性组合,然后通过Sigmoid函数将结果映射到(0,1)区间,以此来预测样本属于某个类别的概率。逻辑回归模型不仅能够预测分类结果,还能给出属于某一类别的概率估计。

损失函数

逻辑回归通常使用交叉熵(Cross Entropy)作为损失函数,它能够衡量模型预测概率分布与真实概率分布之间的差异。交叉熵损失函数的形式如下:

其中,m是样本数量,y_i是样本的真实标签,h_theta(x_i)是模型对第i个样本的预测概率。

参数优化

逻辑回归模型的参数通过最大似然估计(MLE)进行优化,通常使用梯度下降法来最小化损失函数,从而求解模型参数。

逻辑回归的优缺点

优点:

模型简单:逻辑回归模型形式简单,易于理解和实现。

输出概率:能够给出样本属于某一类别的概率估计。

凸函数优化:损失函数是凸函数,易于求解全局最优解。

泛化能力:逻辑回归对小噪声的鲁棒性较好,不易过拟合。

缺点:

表达能力有限:逻辑回归是线性模型,对于非线性问题需要进行特征工程。

特征处理:需要对连续特征进行离散化,以增强模型的表达能力。

高维稀疏数据:在高维稀疏数据下,逻辑回归的性能可能不佳。

应用场景

逻辑回归广泛应用于各种二分类问题,如垃圾邮件检测、疾病诊断、金融欺诈预测等。它也可以通过一对多(One-vs-Rest)或多项逻辑回归(Multinomial Logistic Regression)的方式来处理多分类问题。

5.1.1 什么是逻辑回归

5.1.2 逻辑回归应用场景

5.1.3 逻辑回归损失函数

5.1.4 损失函数的梯度

5.1.5 API的使用

5.2 多任务分类

5.2.1 一对多(OVR)

5.2.2 Softmax 回归 (多项逻辑回归)

5.3 手写数字识别

5.3.1 数据集说明

5.3.2 逻辑回归实现手写数字识别


相关推荐
f6m274dww2cmd15 分钟前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能
fly_sunnn25 分钟前
机械狗的前置学习(python与Linux基础操作)
学习
2601_9679801127 分钟前
Python中heapq模块的各种用法实例
数据结构·python·算法·应用实例·heapq模块
大胖爱学习_MJ27 分钟前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
RobinDevNotes40 分钟前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
吃我一窝jio41 分钟前
Java博客极简写作三支柱
java
知识搬运临时工44 分钟前
双路服务器跑得比单路慢:JVM 没看见内存的距离
java·后端
龙腾AI白云1 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
吃我一窝jio1 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
user4465117917911 小时前
Agent 也能「过安检」:AgentScope 权限系统设计拆解
人工智能