1. 分类边界的差异
- 逻辑回归：假设数据是线性可分的，找到一个概率最大化的线性决策边界。
- 支持向量机：通过最大化间隔找到一个最佳分类边界，并且支持非线性分类（通过核函数映射到高维空间）。
2. 目标函数
逻辑回归：
逻辑回归基于最大化似然估计，其损失函数为对数似然损失：
其中 。
支持向量机：
支持向量机通过最大化分类间隔，目标是最小化以下目标函数（以软间隔 SVM 为例）：
- C 是正则化参数，用于权衡分类错误和间隔大小。
3. 核函数支持
- SVM：可以通过核函数（Kernel Function）处理非线性分类问题，如 RBF 核、多项式核等，使得模型能在高维特征空间中找到线性分割面。
- 逻辑回归：默认是线性模型，但可以通过手动添加多项式特征来间接实现非线性分类。
4. 概率输出
- 逻辑回归：输出的是样本属于某个类别的概率值（通过 Sigmoid 函数计算）。
- SVM：默认仅输出分类标签（如 -1 或 1），概率值需要通过后处理（如 Platt Scaling）近似计算。
5. 噪声处理能力
- 逻辑回归：通过最小化对数损失函数，对少量噪声点较为鲁棒。
- SVM：对噪声更敏感，尤其是硬间隔 SVM 中异常值可能对分类边界有较大影响。但软间隔 SVM 引入了松弛变量，可以一定程度上缓解这种影响。
6. 高维数据表现
- SVM：在高维数据中（如文本分类），通过核函数表现良好。
- 逻辑回归：在高维数据中可能需要正则化（如 L2 正则）来避免过拟合。
7. 支持向量机 (SVM) 和逻辑回归的主要区别
| 属性 | 支持向量机 (SVM) | 逻辑回归 (Logistic Regression) |
|---|---|---|
| 算法类型 | 判别式模型 | 判别式模型 |
| 分类边界 | 最大化分类间隔的决策边界 | 基于概率的决策边界 |
| 目标函数 | 最大化分类间隔（或引入松弛变量的软间隔优化） | 最小化对数似然损失函数 |
| 核函数支持 | 支持非线性核（如多项式核、RBF 核） | 仅支持线性决策边界 |
| 对噪声的鲁棒性 | 对异常值更敏感，特别是对硬间隔 SVM | 更鲁棒，能较好地处理少量噪声 |
| 概率输出 | 默认不提供概率输出（但可以通过 Platt Scaling 近似得到） | 提供概率输出，表示样本属于某个类别的概率 |
| 特征缩放要求 | 需要对特征进行标准化/归一化 | 通常也需要标准化，但不如 SVM 要求严格 |
| 维数和样本数量适应性 | 在高维数据中表现良好，但不适合特别大的样本数 | 在大样本情况下表现更好，计算复杂度更低 |
| 计算复杂度 | 比逻辑回归高（尤其是非线性核函数情况下） | 计算复杂度较低，适合大规模数据 |
| 适用场景 | 适用于小样本、高维数据、非线性分类问题 | 适用于线性分类问题、大样本分类问题 |
总结
- SVM：适用于小样本、高维数据，能处理非线性分类问题；但计算复杂度较高，不适合大规模数据。
- 逻辑回归：适用于线性分类问题和大样本数据，计算效率高，能输出概率结果。