【深度学习与实战】3.1 逻辑回归模型

‌1. 定义与核心思想‌

逻辑回归(Logistic Regression)是一种用于‌二分类问题 ‌的统计学习方法,通过‌sigmoid函数‌将线性回归的输出映射到0,1区间,表示样本属于某一类别的概率‌。

  • ‌本质‌:广义线性模型,适用于因变量为二分类(如"是/否"、"成功/失败")的场景‌。

  • ‌核心公式‌:

其中为线性组合,为模型参数

  • ‌:在特征XX条件下,样本属于类别1的概率。
  • ‌sigmoid函数 ‌():将线性组合压缩到(0,1)之间,提供非线性概率转换。
  • :线性组合,由特征加权和加截距项组成。
  • ‌**​**‌:截距项(偏置),调整决策边界的偏移。
  • ‌:特征系数,反映每个特征对结果的影响方向和大小。
  • ‌**​**‌:输入特征变量。

2. Sigmoid函数的作用‌

  • ‌功能 ‌:将线性输出 转换为概率值,公式为:

‌

  • ‌特性 ‌:
    • 输出范围(0,1),适合表示概率‌;
    • 当 时,,即分类阈值‌

‌3. 模型参数估计‌

  • ‌最大似然估计(MLE) ‌:通过最大化观测数据的联合概率求解参数‌。
    • ‌对数似然函数‌:

其中 .‌

  • 损失函数(交叉熵)‌:

通过梯度下降法最小化损失‌

‌4. 决策边界与系数解释‌

  • ‌决策边界 ‌:线性超平面 ,即 。
  • ‌系数意义 ‌:
    • 表示特征 每增加1单位,‌**胜率(Odds)**‌的倍数变化‌。
    • 例如, 时,,即 增加1单位,胜率提高至2.23倍‌

‌5**. 计算示例**‌

‌问题‌:预测学生是否通过考试,特征为学习时间(小时)和出勤率(比例),模型已训练,参数为:

‌步骤‌:

  1. ‌计算线性组合 :
  1. ‌计算线性组合zz‌:z=β0+β1X1+β2X2=−2+0.8×3+1.5×0.9=−2+2.4+1.35=1.75z=β0+β1X1+β2X2=−2+0.8×3+1.5×0.9=−2+2.4+1.35=1.75
  2. ‌应用sigmoid函数‌:

预测结果‌:概率为85.2%,超过阈值0.5,预测为‌通过考试‌。

相关推荐
双鱼大猫15 分钟前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户58333398166824 分钟前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省1 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫2 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT2 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)2 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
oil欧哟3 小时前
AI Agent Skill 入门指南:文件夹本质、渐进式加载与挑选方法
人工智能·ai编程
百度Geek说3 小时前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能
Baihai_IDP3 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm