对数几率回归

对数几率回归简介

对数几率回归(Logistic Regression)是一种用于解决分类问题的经典统计模型,其核心思想是利用逻辑函数(Sigmoid函数)将线性回归模型的输出值映射到概率范围 [0, 1],从而实现分类预测。对数几率回归特别适合用于二分类问题。

模型表达式

对数几率回归的概率预测公式为:

其中:

  • w为权重向量,x 为输入特征向量,b为偏置项
  • 是 Sigmoid 函数

目标是通过训练确定参数 w 和 b,以最大化模型对数据的预测能力。


极大似然函数与交叉熵损失

极大似然函数

在训练过程中,假设数据集包含 n 个样本​,目标是最大化样本标签 y 的条件概率的乘积,即似然函数:

为简化计算,通常对似然函数取对数,得到对数似然函数:

交叉熵损失

对数似然函数的负值称为交叉熵损失,是对数几率回归优化的目标函数:

通过最小化交叉熵损失函数,可以训练出最优的模型参数。

在信息论中涉及信息熵与交叉熵的概念。信息熵越大,表示随机变量的不确定性越大。相对熵=信息熵+交叉熵,相对熵用来度量两个随机变量之间的差异。


参数优化方法

梯度下降法

使用梯度下降法(Gradient Descent)通过迭代更新参数 w 和 b 来最小化损失函数。更新公式为:

其中 η为学习率。

牛顿法

牛顿法是一种二阶优化方法,利用梯度和二阶导数(Hessian 矩阵)更新参数,相较于梯度下降法收敛更快。更新公式为:

其中:

  • ∇ℓ 是损失函数的梯度
  • H 是 Hessian 矩阵,定义为损失函数的二阶导数矩阵

优点: 牛顿法可以显著加快优化速度,特别是在凸优化问题中表现出色。
缺点: 计算 Hessian 矩阵和求逆的开销较大,不适合大规模数据。

相关推荐
蹦蹦跳跳真可爱5891 小时前
Python----深度学习(基于深度学习Pytroch簇分类,圆环分类,月牙分类)
人工智能·pytorch·python·深度学习·分类
蚂蚁20142 小时前
卷积神经网络(二)
人工智能·计算机视觉
z_mazin4 小时前
反爬虫机制中的验证码识别:类型、技术难点与应对策略
人工智能·计算机视觉·目标跟踪
lixy5795 小时前
深度学习3.7 softmax回归的简洁实现
人工智能·深度学习·回归
youhebuke2255 小时前
利用deepseek快速生成甘特图
人工智能·甘特图·deepseek
訾博ZiBo5 小时前
AI日报 - 2025年04月26日
人工智能
郭不耐5 小时前
DeepSeek智能时空数据分析(三):专业级地理数据可视化赏析-《杭州市国土空间总体规划(2021-2035年)》
人工智能·信息可视化·数据分析·毕业设计·数据可视化·城市规划
AI军哥6 小时前
MySQL8的安装方法
人工智能·mysql·yolo·机器学习·deepseek
余弦的倒数6 小时前
知识蒸馏和迁移学习的区别
人工智能·机器学习·迁移学习
Allen Bright6 小时前
【机器学习-线性回归-2】理解线性回归中的连续值与离散值
人工智能·机器学习·线性回归