逻辑回归(Logistic Regression)模型的概率预测函数

以二分类问题为例,常见的损失函数有

  • 负对数似然损失(neg log-likelihood loss),
  • 交叉熵损失(cross entropy loss),
  • deviance loss
  • 指数损失(exponential loss)。

前三者虽然名字不同,但却具有相同的表达形式。此外,neg log-likelihood loss 和 exponential loss在期望意义下具有相同的解

逻辑回归(Logistic Regression)

逻辑回归是最常见的分类模型,具有如下形式:

图片展示的是 逻辑回归(Logistic Regression)模型的概率预测函数,它是机器学习中经典的二分类算法核心公式。以下是详细解析:


1. 公式组成

p ( x ; ω , b ) = σ ( ω T x + b ) = 1 1 + e − ( ω T x + b ) p(x; \omega, b) = \sigma(\omega^T x + b) = \frac{1}{1 + e^{-(\omega^T x + b)}} p(x;ω,b)=σ(ωTx+b)=1+e−(ωTx+b)1

  • 输入

    • ( x ): 特征向量(如图像特征、用户行为数据等)。
    • ( ω \omega ω ): 权重向量(模型需要学习的参数)。
    • ( b ): 偏置项(截距)。
  • 输出

    • ( p(x; ω \omega ω, b) ): 样本 ( x ) 属于类别1的概率(范围0到1)。
  • 关键函数

    • Sigmoid函数(σ) :将线性组合 ω T x + b \omega^T x + b ωTx+b 映射到概率空间。

      python 复制代码
      def sigmoid(z):
          return 1 / (1 + np.exp(-z))

2. 逻辑回归的核心思想

  • 本质:通过线性回归 + Sigmoid激活函数,实现二分类概率预测。
  • 决策规则
    • 若 ( p(x) \geq 0.5 ),预测为类别1;
    • 若 ( p(x) < 0.5 ),预测为类别0。

3. 逻辑回归的BCE损失

  • 逻辑回归通常使用**二元交叉熵(BCE)**作为损失函数,而Focal BCE是对BCE的改进,用于处理类别不平衡问题。

    python 复制代码
    # 逻辑回归的BCE损失
    loss = -[y * log(p) + (1-y) * log(1-p)]

损失函数设计举例


4. 参数学习(θ = (b, ω))

  • 优化目标 :通过梯度下降最小化交叉熵损失,调整 ( ω \omega ω ) 和 ( b )。
  • 学习过程
    ω ← ω − η ⋅ ∂ L ∂ ω , b ← b − η ⋅ ∂ L ∂ b \omega \leftarrow \omega - \eta \cdot \frac{\partial \mathcal{L}}{\partial \omega}, \quad b \leftarrow b - \eta \cdot \frac{\partial \mathcal{L}}{\partial b} ω←ω−η⋅∂ω∂L,b←b−η⋅∂b∂L
    • ( η \eta η ): 学习率
    • ( L \mathcal{L} L ): 损失函数(如BCE)

5. 为什么用Sigmoid?

  • 概率压缩 :将线性输出 ( ω T \omega^T ωT x + b ) 映射到 (0,1) 区间,符合概率定义。
  • 可解释性:输出可直接解释为"属于正类的置信度"。

总结

逻辑回归的概率函数,它是:

  1. 二分类模型的基础;
  2. 通过Sigmoid函数输出概率;
  3. 常与交叉熵损失配合使用(可扩展为Focal BCE处理不平衡数据)。
相关推荐
柠檬071135 分钟前
matlab cell 数据转换及记录
算法
YuTaoShao1 小时前
【LeetCode 每日一题】2221. 数组的三角和
数据结构·算法·leetcode
little~钰1 小时前
树上倍增和LCA算法---上
算法
力扣蓝精灵1 小时前
今日分享 整数二分
算法
mc23561 小时前
5分钟学会微算法——Brian Kernighan 算法
算法
赋创小助手1 小时前
Supermicro NVIDIA Grace Superchip存储服务器超微ARS-121L-NE316R开箱评测
运维·服务器·人工智能·深度学习·机器学习·自然语言处理
Excuse_lighttime1 小时前
除自身以外数组的乘积
java·数据结构·算法·leetcode·eclipse·动态规划
万添裁1 小时前
归并排序的三重境界
数据结构·算法
程序员三明治1 小时前
【重学数据结构】队列 Queue
数据结构·后端·算法
Coision.1 小时前
Linux C: 函数
java·c语言·算法