逻辑回归知识点

一、逻辑回归概念

逻辑回归(Logistic Regression)是一种广泛应用于分类问题的统计方法,尤其适用于二分类问题。

注意: 尽管名称中有"回归"二字,但它实际上是一种分类算法。

解决二分类的问题。

API:sklearn.linear_model.LogisticRegression

二、核心函数

Sigmoid函数:

其中,w是权重向量,x是特征向量,b是偏置项。

三、逻辑回归原理和优化手段

1.原理:(核心思想)逻辑回归通过将线性回归的输出映射到(0,1)区间,使用Sigmoid函数将连续值转换为概率值,然后根据概率值进行分类预测。

2.优化手段:极大似然估计和最小化交叉熵。

极大似然估计:(MLE,即 Maximum Likelihood Estimation)

是一种统计方法,用于从观测数据中估计概率分布的参数。核心思想是"在已知观测数据的情况下,选择使得这些数据出现概率最大的参数值。"

二分类公式:

其中表示第i个样本的真实标签,取值为0或1(1表示成功,0表示失败),是模型预测的"成功"概率(即),是带估计的参数。

最小化交叉熵:交叉熵损失函数(Cross-Entropy Loss),也称为对数损失(Log Loss)

交叉熵是衡量两个概率分布(真实分布 y和预测分布 p)差异的指标

二分类公式:

其中表示第i个样本的真实标签,通常取值0或1(二分类问题),表示模型预测的第i个样本属于类别1的概率(即

关系:先用伯努利分布的似然函数,然后对其取负对数,直接得到交叉熵损失,然后不断的梯度下降迭代更新找到最优参数!(把最大化问题将其变为最小化问题,把连乘问题将其变为连加问题)

四、混淆矩阵

1.概念

混淆矩阵是机器学习中用于评估分类模型性能的表格。它展示了模型的预测结果与实际标签的对比情况。

2.图解

3.作用

直观显示模型的分类错误类型(如误诊、漏检),计算关键指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数等。

五、分类结果评价指标

1.准确率(Accuracy_score)

准确率 = 预测正确的样本数 / 总样本数 其中预测正确指的是预测结果 = 真实结果(包含正例以及反例)

2.精确率(Precision_score)

精确率 是 真实结果中正例的个数 除以 预测结果中正例的个数

3.召回率(Recall_score)

召回率 是 预测结果中真实的正例的个数 除以 真实结果中所有的正例的个数

4.F1-score

对模型的精确率和召回率都有要求,希望知道模型在这两个评估方向的综合预测能力

5.ROC曲线

概念:ROC曲线以模型的真正率为纵轴,假正率为横轴,它将模型在不同阈值下的表现以曲线的形式展现出来。

真正率: 正样本中被预测为正样本的概率TPR (True Positive Rate)

假正率: 负样本中被预测为正样本的概率FPR (False Positive Rate)

6.AUC面积

ROC曲线下方的面积,AUC越大,代表分类器越好

相关推荐
杨超越luckly14 分钟前
HTML应用指南:利用POST请求获取全国中国工商农业银行网点位置信息
大数据·前端·html·数据可视化·银行网点
hello_lain41 分钟前
9.1 简单排序(冒泡、插入)(排序(上))
c语言·数据结构·算法·排序算法
炬火初现44 分钟前
Hot100——普通数组
算法·leetcode·职场和发展
IT学长编程1 小时前
计算机毕业设计 基于Hadoop的信贷风险评估的数据可视化分析与预测系统 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·毕业设计·课程设计·毕业论文·信贷风险评估的可视化分析与预测·hadoop大数据
啊我不会诶1 小时前
【数据结构】字典树
数据结构·算法
信奥卷王1 小时前
[GESP202403 五级] 成绩排序
数据结构·算法
小欣加油2 小时前
leetcode 494 目标和
c++·算法·leetcode·职场和发展·深度优先
semantist@语校2 小时前
语校网500所里程碑:日本语言学校数据库的标准化与可追溯机制
大数据·数据库·人工智能·百度·语言模型·oracle·github
key062 小时前
数据安全能力成熟度模型 (DSMM) 核心要点
大数据·人工智能
Jiezcode3 小时前
LeetCode 55.跳跃游戏
c++·算法·leetcode·游戏