Logistic回归为什么不用均方误差 MSE（square error）
逻辑回归：输出 y^=σ(z)=11+e−z\hat y=\sigma(z)=\frac{1}{1+e^{-z}}y^=σ(z)=1+e−z1，KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲z=wx+b\)，y^∈(0,1)\hat y\in(0,1)y^∈(0,1)，标签 y∈{0,1}y\in\{0,1\}y∈{0,1}。
1. MSE损失形式
LMSE=(y^−y)2=(σ(wx+b)−y)2 L_{MSE}=(\hat y-y)^2=\big(\sigma(wx+b)-y\big)^2 LMSE=(y^−y)2=(σ(wx+b)−y)2
问题1：损失函数非凸，存在大量局部极小点
对比：逻辑回归标准损失是二元交叉熵 BCE ，损失曲面是凸函数，梯度下降一定能找到全局最优。
MSE套在sigmoid外面，整体函数不是凸函数，优化很容易卡在局部最小值，得不到最好参数。
问题2：梯度消失，训练几乎不动（最核心）
求MSE对权重www的导数：
∂LMSE∂w=2(y^−y)⋅σ′(z)⋅x \frac{\partial L_{MSE}}{\partial w}=2(\hat y-y)\cdot\sigma'(z)\cdot x ∂w∂LMSE=2(y^−y)⋅σ′(z)⋅x
sigmoid导数：
σ′(z)=σ(z)(1−σ(z))\sigma'(z)=\sigma(z)(1-\sigma(z))σ′(z)=σ(z)(1−σ(z))
当 y^\hat yy^ 和真实标签差距很大的时候：
例：真实标签 KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲y=1\)，模型输出 y^≈0\hat y\approx0y^≈0，此时 z≪0z\ll0z≪0，σ(z)\sigma(z)σ(z)接近0，σ′(z)≈0\boldsymbol{\sigma'(z)\approx0}σ′(z)≈0。
虽然误差项 (y^−y)(\hat y-y)(y^−y)很大，但是 σ′(z)\boldsymbol{\sigma'(z)}σ′(z) 趋近于0，整体梯度几乎等于0 。
参数几乎不更新，模型学的极慢，陷入僵住。
简单例子：
样本 KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲y=1\)，模型输出0.01，误差很大，但是sigmoid落在饱和区，导数几乎为0，梯度下降几乎不更新权重。
✅反观交叉熵损失梯度：
∂LBCE∂w=(y^−y)⋅x \frac{\partial L_{BCE}}{\partial w}=(\hat y-y)\cdot x ∂w∂LBCE=(y^−y)⋅x
没有sigmoid导数项，误差大的时候梯度就大，参数正常更新，不会梯度消失。
问题3：概率意义不匹配
MSE来自高斯噪声假设，适合回归任务（输出是连续实数）。
逻辑回归是分类，标签是离散0/1，假设是伯努利分布，数学上对应交叉熵，MSE并不是这个分布下的最大似然代价函数。
直观对比
| MSE(平方误差) | Binary Cross‑Entropy交叉熵 |
|---|---|
| 非凸，局部最优陷阱 | 凸损失，全局最优 |
| sigmoid饱和区梯度消失，训练停滞 | 梯度干净，误差越大梯度越大，训练稳定 |
| 回归任务假设，不匹配0‑1分类分布 | 等价最大似然，符合分类概率假设 |
补充：那Softmax多分类能不能用MSE？
同样的问题：
- softmax也会进入饱和，梯度消失；
- 损失非凸；
- 不对应多分类的多项式分布最大似然。
所以多分类同样用交叉熵，不用MSE。
小误区
MSE不是完全不能跑，有时候能收敛。但是训练极慢，极易卡在局部最优，工程上绝对不用。
一句话总结
logistic回归用sigmoid输出，平方误差会引入sigmoid导数，在预测严重错误时发生梯度消失；同时损失非凸，容易陷入局部极小，数学上也不匹配分类任务的概率假设，因此采用交叉熵损失。