机器学习系列6-逻辑回归

|----------------------------------------------------------|
| 重点: 1.逻辑回归模型会生成概率。 2. 对数损失是逻辑回归的损失函数。 3. 逻辑回归被许多从业者广泛使用。 |

1.逻辑回归:计算概率 **许多问题需要将概率估算值作为输出。逻辑回归是一种非常高的概率计算机制。** 实际上,您可以通过以下两种方式之一使用返回的概率: * 原样 * 已转换为二元类别。 !在这里插入图片描述(https://img-blog.csdnimg.cn/direct/e62e0256ba5a45a39968900685053fa7.png)

在许多情况下,您需要将逻辑回归输出映射到二元分类问题,其中目标是正确预测两个可能的标签之一(例如,"垃圾邮件"或"不是垃圾邮件")。后续模块会重点介绍这一点。

您可能想知道逻辑回归模型如何确保输出值始终介于 0 和 1 之间。巧合的是,S 型函数会产生如下具有相同特征的输出(定义如下):

S 型函数生成以下图表:


逻辑回归推断计算。

2.逻辑回归:损失和正则化

2.1.逻辑回归的损失函数

线性回归的损失函数是平方损失。逻辑回归的损失函数是对数损失,定义如下:

2.2.逻辑回归中的正则化

正则化在逻辑回归建模中极其重要。 如果不进行正则化,高逻辑维度下的逻辑回归的渐近性会不断促使损失接近 0。因此,大多数逻辑回归模型都使用以下两种策略之一来降低模型复杂性:

  • L2 正则化。
  • 早停法,即限制训练步数或学习速率。

假设您为每个示例分配一个唯一 ID,并将每个 ID 映射到其自己的特征。如果您不指定正则化函数,模型将完全过拟合。这是因为模型会尝试在所有样本上将损失降低为零,并且永远无法实现,从而将每个指示器特征的权重提高至 +无穷大或-无穷大。当有大量罕见的交叉时,仅在一个样本上发生,就会出现包含特征组合的高维度数据。

幸运的是,使用 L2 或早停法可以防止此问题出现。

相关推荐
GoldenSpider.AI9 分钟前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我10 分钟前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风19 分钟前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT22 分钟前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人31 分钟前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络1 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan2 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷2 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
玖米GEO运营王总监2 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
硅谷秋水2 小时前
面向精确到达任务的机器人-对齐3D高斯溅射方法——基于腕部-相机VLA策略
数码相机·机器学习·计算机视觉·3d·机器人