逻辑回归简介

逻辑回归简介

逻辑回归(Logistic Regression)是一种广泛应用于分类问题 的统计学习方法,尽管名字中含有"回归",但它实际上主要用于二分类任务(也适用于多分类)。


核心思想

逻辑回归通过将线性回归的输出映射到 0, 1 区间,来预测样本属于某一类别的概率。

基本形式:

  1. 线性部分 :

    z = w\^T x + b

    其中 (x) 是特征向量,(w) 是权重,(b) 是偏置。

  2. Sigmoid 函数(逻辑函数) :

    \\hat{y} = \\sigma(z) = \\frac{1}{1 + e\^{-z}}

    将 (z) 转换为 0~1 之间的概率值。

  3. 分类决策 :

    通常取阈值 0.5:

    • 若 (\hat{y} \ge 0.5),预测为正类(1)
    • 若 (\hat{y} < 0.5),预测为负类(0)

损失函数

逻辑回归使用对数损失(Log Loss / 交叉熵损失):

J(w,b) = -\\frac{1}{m} \\sum_{i=1}\^{m} \\left\[ y\^{(i)} \\log(\\hat{y}\^{(i)}) + (1 - y\^{(i)}) \\log(1 - \\hat{y}\^{(i)}) \\right

]

通过梯度下降等优化算法最小化该损失函数,得到最优参数 (w, b)。


特点与优缺点

优点:

  • 模型简单,计算效率高
  • 输出具有概率意义,可解释性强
  • 不易过拟合(尤其在正则化后)
  • 对线性可分问题效果好

缺点:

  • 对特征空间中的非线性关系拟合能力有限
  • 对异常值敏感
  • 需要特征独立或相关性较低(虽然比朴素贝叶斯更鲁棒)

常见应用

  • 信用评分(是否违约)
  • 医疗诊断(是否患病)
  • 垃圾邮件识别
  • 点击率预估(CTR)
  • 用户流失预测

简单示例(Python + scikit-learn)

python 复制代码
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer

# 加载数据
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)

# 预测
accuracy = model.score(X_test, y_test)
print(f"Accuracy: {accuracy:.4f}")

与线性回归的区别

特性 线性回归 逻辑回归
任务类型 回归(预测数值) 分类(预测类别/概率)
输出范围 ((-\infty, +\infty)) (0, 1)
损失函数 均方误差(MSE) 交叉熵损失
激活函数 无(恒等映射) Sigmoid

相关推荐
Pniubi1 小时前
01背包类问题-力扣416.分割等和子集
算法·leetcode·职场和发展
罗西的思考12 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
kyle~17 小时前
模型预测控制(MPC)
算法·机器人·控制·传感器
Be for thing17 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
武子康18 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
牢姐与蒯18 小时前
cpp算法之哈希
c++·算法·哈希算法
开开心心就好19 小时前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
电科_银尘20 小时前
【大模型算法与工程 02】线性回归与逻辑回归:从损失函数到决策边界
算法·逻辑回归·线性回归
玄昌盛不会编程21 小时前
LeetCode——2243. 计算字符串的数字和
java·算法·leetcode
linweidong1 天前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn