【深度学习与实战】3.1 逻辑回归模型

‌1. 定义与核心思想‌

逻辑回归（Logistic Regression）是一种用于‌二分类问题 ‌的统计学习方法，通过‌sigmoid函数‌将线性回归的输出映射到0,1区间，表示样本属于某一类别的概率‌。

• ‌本质‌：广义线性模型，适用于因变量为二分类（如"是/否"、"成功/失败"）的场景‌。

• ‌核心公式‌：

其中为线性组合，为模型参数

• ‌：在特征XX条件下，样本属于类别1的概率。
• ‌sigmoid函数 ‌（）：将线性组合压缩到(0,1)之间，提供非线性概率转换。
• ：线性组合，由特征加权和加截距项组成。
• ‌**​**‌：截距项（偏置），调整决策边界的偏移。
• ‌：特征系数，反映每个特征对结果的影响方向和大小。
• ‌**​**‌：输入特征变量。

2. Sigmoid函数的作用‌

• ‌功能 ‌：将线性输出 转换为概率值，公式为：

‌

• ‌特性 ‌：
  • 输出范围(0,1)，适合表示概率‌；
  • 当 时，，即分类阈值‌

‌3. 模型参数估计‌

• ‌最大似然估计（MLE） ‌：通过最大化观测数据的联合概率求解参数‌。
  • ‌对数似然函数‌：

其中 .‌

• 损失函数（交叉熵）‌：

通过梯度下降法最小化损失‌

‌4. 决策边界与系数解释‌

• ‌决策边界 ‌：线性超平面 ，即 。
• ‌系数意义 ‌：
  • 表示特征 每增加1单位，‌**胜率（Odds）**‌的倍数变化‌。
  • 例如， 时，，即 增加1单位，胜率提高至2.23倍‌

‌5**. 计算示例**‌

‌问题‌：预测学生是否通过考试，特征为学习时间（小时）和出勤率（比例），模型已训练，参数为：

‌步骤‌：

1. ‌计算线性组合 ：

1. ‌计算线性组合zz‌：z=β0+β1X1+β2X2=−2+0.8×3+1.5×0.9=−2+2.4+1.35=1.75z=β0+β1X1+β2X2=−2+0.8×3+1.5×0.9=−2+2.4+1.35=1.75
2. ‌应用sigmoid函数‌：

预测结果‌：概率为85.2%，超过阈值0.5，预测为‌通过考试‌。