对数几率回归

对数几率回归简介

对数几率回归(Logistic Regression)是一种用于解决分类问题的经典统计模型,其核心思想是利用逻辑函数(Sigmoid函数)将线性回归模型的输出值映射到概率范围 [0, 1],从而实现分类预测。对数几率回归特别适合用于二分类问题。

模型表达式

对数几率回归的概率预测公式为:

其中:

  • w为权重向量,x 为输入特征向量,b为偏置项
  • 是 Sigmoid 函数

目标是通过训练确定参数 w 和 b,以最大化模型对数据的预测能力。


极大似然函数与交叉熵损失

极大似然函数

在训练过程中,假设数据集包含 n 个样本​,目标是最大化样本标签 y 的条件概率的乘积,即似然函数:

为简化计算,通常对似然函数取对数,得到对数似然函数:

交叉熵损失

对数似然函数的负值称为交叉熵损失,是对数几率回归优化的目标函数:

通过最小化交叉熵损失函数,可以训练出最优的模型参数。

在信息论中涉及信息熵与交叉熵的概念。信息熵越大,表示随机变量的不确定性越大。相对熵=信息熵+交叉熵,相对熵用来度量两个随机变量之间的差异。


参数优化方法

梯度下降法

使用梯度下降法(Gradient Descent)通过迭代更新参数 w 和 b 来最小化损失函数。更新公式为:

其中 η为学习率。

牛顿法

牛顿法是一种二阶优化方法,利用梯度和二阶导数(Hessian 矩阵)更新参数,相较于梯度下降法收敛更快。更新公式为:

其中:

  • ∇ℓ 是损失函数的梯度
  • H 是 Hessian 矩阵,定义为损失函数的二阶导数矩阵

优点: 牛顿法可以显著加快优化速度,特别是在凸优化问题中表现出色。
缺点: 计算 Hessian 矩阵和求逆的开销较大,不适合大规模数据。

相关推荐
nuise_几秒前
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
人工智能·笔记·机器学习
声网14 分钟前
MiniMax 发布新 TTS 模型 Speech-02,轻松制作长篇有声内容;Meta 高端眼镜年底推出:售价上千美元丨日报
人工智能
HeteroCat18 分钟前
OpenAI 官方学院 -- 提示词课程要点
人工智能·chatgpt
每天做一点改变20 分钟前
AI Agent成为行业竞争新焦点:技术革新与商业重构的双重浪潮
人工智能·重构
大美B端工场-B端系统美颜师23 分钟前
定制化管理系统与通用管理系统,谁更胜一筹?
人工智能·信息可视化·数据挖掘·数据分析
生信小鹏23 分钟前
Nature旗下 | npj Digital Medicine | 图像+转录组+临床变量三合一,多模态AI预测化疗反应,值得复现学习的完整框架
人工智能·学习·免疫治疗·scrna-seq·scrna
OpenLoong 开源社区37 分钟前
技术视界 | 从哲学到技术:人形机器人感知导航的探索(下篇)
人工智能·机器人·开源社区·人形机器人·openloong
csssnxy1 小时前
叁仟数智指路机器人的主要功能有哪些?
人工智能
蝎蟹居1 小时前
GB/T 4706.1-2024 家用和类似用途电器的安全 第1部分:通用要求 与2005版差异(1)
人工智能·单片机·嵌入式硬件·物联网·安全
浊酒南街1 小时前
TensorFlow实现逻辑回归
人工智能·tensorflow·逻辑回归