机器学习(7)逻辑回归及其成本函数

一、使用线性回归进行分类任务

在分类任务中(例如判断肿瘤是良性(0)还是恶性(1) ),如果直接使用线性回归模型:

则预测结果可能超出区间 0,1,而概率必须在这个区间内。因此,我们需要一个能够将任意实数映射到 0,1 的函数------这就是Sigmoid函数(逻辑函数)。


二、逻辑回归(Logistic Regression)

1. 肿瘤分类案例

我们的目标是预测"肿瘤为恶性"的概率。

  • 设 y=0:肿瘤良性

  • y=1:肿瘤恶性

2. 构建逻辑函数

逻辑回归的核心公式为:

其中:

Sigmoid函数 g(z) 的作用是把线性结果 z 转换为一个范围在 (0,1) 之间的概率值。

例如:


三、边界决策(Decision Boundary)

在逻辑回归中,我们通常选择0.5作为分类边界:

  • 若 ,表示恶性概率为 90%,则预测为 1。

  • 若 ,表示恶性概率为 20%,则预测为 0。

线性决策边界对应于一个直线方程 ,

非线性决策边界可以通过加入多项式特征实现(例如 )。


四、逻辑回归的成本函数(Cost Function)

1. 为什么不能使用平方误差?

若使用平方误差代价函数:

在逻辑回归中会导致非凸函数(Non-convex),训练时可能陷入局部最小值,优化困难。

2. 逻辑回归的损失函数定义

为了让优化问题成为凸函数,我们定义单个样本的损失函数(Loss Function)为:

这意味着:

  • 若真实标签是 1,模型应尽量让 靠近 1,否则 会很大;

  • 若真实标签是 0,模型应让 靠近 0,否则 会很大。


五、逻辑回归的简化成本函数

可以把上面的两个情况合并为一个公式:

整个训练集的平均成本函数为:

这个函数是凸函数(bowl shape),可以使用梯度下降高效求得最优解。


六、例子:肿瘤预测分类

假设我们有以下肿瘤数据(单特征):

肿瘤大小 x 是否恶性 y
1.0 0
2.0 0
3.0 0
4.0 1
5.0 1

我们模型设为:

假设训练得到参数 w=1.5,b=−4.0。

当 x=3 时:

表示"恶性肿瘤"的概率为 62%,因此预测类别为 1(恶性)。


总结:

  • 逻辑回归不是"回归"而是"分类"模型;

  • 使用 Sigmoid 函数将线性输出转化为概率;

  • 损失函数为对数损失(Log Loss),确保优化问题凸;

  • 常用梯度下降法最小化 J(w,b)。

相关推荐
土豆125039 分钟前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI3 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风3 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT3 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人3 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络4 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan4 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷4 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构