机器学习-逻辑回归原理及其公式

逻辑回归(Logistic Regression)是一种广泛应用于分类任务的统计学方法,尤其是在二分类问题中表现尤为突出。尽管它的名字中包含"回归",但实际上逻辑回归是一种分类算法。逻辑回归的目标是预测一个样本属于某一类别的概率,而不是预测一个连续值。

逻辑回归原理

逻辑回归的核心在于使用 Sigmoid 函数(也称为 Logistic 函数)来将线性回归的输出映射到 [0, 1] 之间的概率值。这个函数具有 S 形状,可以将任何实数映射到 [0, 1] 之间,非常适合用来表示概率。

Sigmoid 函数

Sigmoid 函数的数学表达式为:

其中 zz 是输入值,σ(z)σ(z) 是经过 Sigmoid 函数后的输出值。这个函数的特点是随着 zz 的增加,σ(z)σ(z) 逐渐接近 1;随着 zz 的减小,σ(z)σ(z) 逐渐接近 0。

模型表达式

逻辑回归模型的表达式可以表示为:

其中:

  • ww 是权重向量,每个特征对应一个权重;
  • xx 是输入特征向量;
  • bb 是偏置项;
  • P(y=1∣x)P(y=1∣x) 表示给定输入 xx 时,目标变量 yy 为 1 的概率。

损失函数

逻辑回归通常使用交叉熵损失函数(Cross-Entropy Loss)来衡量模型的预测结果与真实标签之间的差距。对于二分类问题,损失函数可以定义为:

其中:

梯度下降法

为了最小化损失函数,逻辑回归通常采用梯度下降法来更新权重向量 𝑤和偏置项 𝑏。梯度下降法的基本步骤如下:

  • 初始化权重向量 𝑤和偏置项 𝑏;
  • 计算损失函数关于 𝑤和 𝑏的梯度;
  • 更新 𝑤和 𝑏:

其中 α 是学习率,决定了每次更新的步长。

示例计算梯度

对于权重向量 𝑤,损失函数的梯度为:

对于偏置项 𝑏,损失函数的梯度为:

通过不断迭代更新 w 和 b,直到损失函数收敛或者达到预定的最大迭代次数。

总结

逻辑回归是一种基于 Sigmoid 函数的概率模型,用于解决分类问题。它通过最小化交叉熵损失函数来学习最优的权重向量和偏置项。通过梯度下降法不断更新模型参数,使得模型能够更好地拟合训练数据,并用于预测新数据的类别。

相关推荐
Python×CATIA工业智造2 小时前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
IT古董2 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco2 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
狐凄3 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
悦悦子a啊4 小时前
Python之--基本知识
开发语言·前端·python
笑稀了的野生俊6 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
Naiva6 小时前
【小技巧】Python+PyCharm IDE 配置解释器出错,环境配置不完整或不兼容。(小智AI、MCP、聚合数据、实时新闻查询、NBA赛事查询)
ide·python·pycharm
路来了6 小时前
Python小工具之PDF合并
开发语言·windows·python
蓝婷儿6 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手6 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链