文章目录
-
- [01 本篇要解决什么问题](#01 本篇要解决什么问题)
- [02 核心原理、公式与条件](#02 核心原理、公式与条件)
- [03 代码实验、实际结果与验证范围](#03 代码实验、实际结果与验证范围)
- [04 工程场景与排错思路](#04 工程场景与排错思路)
- [05 面试问答与追问](#05 面试问答与追问)
- [06 本篇回顾与练习](#06 本篇回顾与练习)
01 本篇要解决什么问题
线性回归与逻辑回归名字相近,一个预测数值,一个常用于分类。真正需要掌握的是:模型输出、损失和梯度为什么这样组合,正则化如何进入更新,概率又如何变成决策。本篇从统一记号出发,用有限差分检查手写梯度。
02 核心原理、公式与条件
(1)统一形状,再写公式
设原始特征 X ∈ R n × d X\in\mathbb R^{n\times d} X∈Rn×d,在最后追加全1列得到 X ~ ∈ R n × ( d + 1 ) \tilde X\in\mathbb R^{n\times(d+1)} X~∈Rn×(d+1),参数 w ∈ R d + 1 w\in\mathbb R^{d+1} w∈Rd+1,最后一个分量表示截距。预测线性分数为 z = X ~ w z=\tilde Xw z=X~w,目标 y y y在本例为长度 n n n的一维数组。
NumPy里 ( n , ) (n,) (n,)和 ( n , 1 ) (n,1) (n,1)广播后可能意外产生 ( n , n ) (n,n) (n,n),所以维度不是形式细节。实现前先检查每个中间量的形状,再讨论算法有没有收敛。
(2)线性回归优化连续预测误差
采用带L2的半均方目标,且不惩罚截距:
L r e g ( w ) = 1 2 n ∥ X ~ w − y ∥ 2 2 + λ 2 w T D w , D = diag ( 1 , ... , 1 , 0 ) . L_{\mathrm{reg}}(w)=\frac{1}{2n}\|\tilde Xw-y\|_2^2+\frac\lambda2w^TDw, \quad D=\operatorname{diag}(1,\ldots,1,0). Lreg(w)=2n1∥X~w−y∥22+2λwTDw,D=diag(1,...,1,0).
∇ w L r e g = 1 n X ~ T ( X ~ w − y ) + λ D w . \nabla_w L_{\mathrm{reg}}=\frac1n\tilde X^T(\tilde Xw-y)+\lambda Dw. ∇wLreg=n1X~T(X~w−y)+λDw.
二分之一让平方项求导更简洁,不改变无正则时的最优位置。平方误差也可从特定高斯噪声假设推导,但不是所有回归任务都应强行采用同一噪声模型或同一损失。
(3)逻辑回归把线性分数映射成概率
二分类定义 p = σ ( z ) = 1 / ( 1 + e − z ) p=\sigma(z)=1/(1+e^{-z}) p=σ(z)=1/(1+e−z)。使用二元交叉熵与相同正则:
L c l s ( w ) = 1 n ∑ i log ( 1 + e z i ) − y i z i + λ 2 w T D w . L_{\mathrm{cls}}(w)=\frac1n\sum_i\left\\log(1+e\^{z_i})-y_iz_i\\right+\frac\lambda2w^TDw. Lcls(w)=n1i∑log(1+ezi)−yizi+2λwTDw.
∇ w L c l s = 1 n X ~ T ( p − y ) + λ D w . \nabla_w L_{\mathrm{cls}}=\frac1n\tilde X^T(p-y)+\lambda Dw. ∇wLcls=n1X~T(p−y)+λDw.
它和线性回归梯度都可写成特征转置乘"预测残差",但残差的意义不同。逻辑回归不是先做普通最小二乘再随便套Sigmoid;目标与概率模型应配套。线性模型官方说明
(4)稳定计算比公式表面等价更重要
直接exp很大正数会溢出,直接log接近0的概率也可能不稳定。代码用logaddexp计算 log ( 1 + e z ) \log(1+e^z) log(1+ez),并按 z z z的正负分别计算Sigmoid,避免不必要的大指数。
梯度检查用中心有限差分: L ( w + ϵ e j ) − L ( w − ϵ e j ) / ( 2 ϵ ) L(w+\\epsilon e_j)-L(w-\\epsilon e_j)/(2\epsilon) L(w+ϵej)−L(w−ϵej)/(2ϵ)。它在几个固定探针处比较解析梯度,能发现系数、符号和正则错误,但不是对所有输入的形式证明,也不能用过大或过小步长期待无限精度。
(5)闭式解与迭代解要对准同一目标
本例线性目标的正规方程为 ( X ~ T X ~ / n + λ D ) w = X ~ T y / n (\tilde X^T\tilde X/n+\lambda D)w=\tilde X^Ty/n (X~TX~/n+λD)w=X~Ty/n,用solve解方程,不显式求逆。若无正则且矩阵秩不足,应考虑最小二乘或伪逆等处理,而不能无条件调用普通逆。
本例比较同一目标的梯度下降与方程解。不同库的正则参数缩放可能不同:按总平方误差定义的Ridge alpha,与此处均值损失中的lambda不能直接设成同一个数;需先统一 n n n和常数因子。
(6)阈值改变决策,不改变已经训练的概率
以 p ≥ t p\ge t p≥t预测正类,边界满足 z ≥ log t / ( 1 − t ) z\ge\logt/(1-t) z≥logt/(1−t)。当 t = 0.5 t=0.5 t=0.5时边界是 z = 0 z=0 z=0;改阈值会改变查准查全与业务代价,但不会重新拟合参数。
概率是否校准还需独立评价,Accuracy高或ROC-AUC高都不自动证明概率可信。阈值应按验证数据与目标选择,再固定到测试;不能挑测试集最优阈值后把成绩称为独立测试。
(7)正则化、标准化与模型能力
L2惩罚约束参数规模,特征单位会影响它的实际作用,所以标准化参数只从训练集估计,并在后续数据沿用。截距不被惩罚是本篇明确选择,不能悄悄与另一套实现混用。
二分类逻辑回归在当前特征空间给出线性分数边界;可以通过特征变换扩展表达,但不会因为用了Sigmoid就自动得到任意复杂边界。可分数据下无正则逻辑回归还可能出现参数不断增大、没有有限最优参数的情况,应区分损失变小与参数稳定。

03 代码实验、实际结果与验证范围
在完整解压目录运行python examples/lesson_02.py。保留同目录ml_common.py,安装随包requirements.txt;本批在CPU运行,不需下载外部数据。使用正常模式,不用会关闭assert的python -O。
python
import numpy as np
from sklearn.metrics import accuracy_score, log_loss, mean_squared_error
from ml_common import output_dir, table, figure, finish, plt
def sigmoid(z):
result = np.empty_like(z, dtype=float)
positive = z >= 0
result[positive] = 1 / (1 + np.exp(-z[positive]))
exp_z = np.exp(z[~positive])
result[~positive] = exp_z / (1 + exp_z)
return result
def objective(w, X, y, kind, penalty):
z = X @ w
regularized = w.copy()
regularized[-1] = 0 # last column is the intercept
if kind == 'linear':
data_loss = 0.5 * np.mean((z - y) ** 2)
residual = z - y
elif kind == 'logistic':
data_loss = np.mean(np.logaddexp(0, z) - y * z)
residual = sigmoid(z) - y
else:
raise ValueError('unknown objective')
loss = data_loss + penalty * np.dot(regularized, regularized) / 2
gradient = X.T @ residual / len(y) + penalty * regularized
return loss, gradient
def finite_difference(w, X, y, kind, penalty):
numeric = np.zeros_like(w)
for j in range(len(w)):
step = np.zeros_like(w)
step[j] = 1e-6
numeric[j] = (objective(w + step, X, y, kind, penalty)[0] - objective(w - step, X, y, kind, penalty)[0]) / 2e-6
return numeric
def fit(X, y, kind, penalty=0.05, steps=2000, rate=0.2):
w, history = np.zeros(X.shape[1]), []
for _ in range(steps):
loss, gradient = objective(w, X, y, kind, penalty)
history.append(loss)
w -= rate * gradient
assert np.isfinite(history).all() and history[-1] < history[0]
return w, history
def main():
out = output_dir(2)
rng = np.random.default_rng(202)
X_raw = rng.normal(size=(400, 2))
y_reg = X_raw @ np.array([2.0, -1.0]) + 0.7 + rng.normal(scale=0.3, size=400)
y_cls = (rng.random(400) < sigmoid(X_raw @ np.array([1.5, -1.0]) - 0.2)).astype(int)
# Indices were fixed before generating results: no hyperparameter search.
train, valid, test = np.arange(240), np.arange(240, 320), np.arange(320, 400)
mean, scale = X_raw[train].mean(axis=0), X_raw[train].std(axis=0)
X = np.column_stack(((X_raw - mean) / scale, np.ones(400)))
errors, models, histories = {}, {}, {}
for kind, target in [('linear', y_reg), ('logistic', y_cls)]:
probe = np.array([0.2, -0.1, 0.3])
analytic = objective(probe, X[train], target[train], kind, 0.05)[1]
numeric = finite_difference(probe, X[train], target[train], kind, 0.05)
errors[kind] = np.max(np.abs(analytic - numeric))
assert errors[kind] < 1e-6
models[kind], histories[kind] = fit(X[train], target[train], kind)
# Independent linear solution for the SAME normalization and L2 objective.
diagonal = np.diag([1.0, 1.0, 0.0])
ridge_solution = np.linalg.solve(X[train].T @ X[train] / len(train) + 0.05 * diagonal,
X[train].T @ y_reg[train] / len(train))
assert np.allclose(models['linear'], ridge_solution, atol=1e-6)
assert np.isfinite(sigmoid(np.array([-1000.0, 1000.0]))).all()
reg_prediction = X @ models['linear']
probability = sigmoid(X @ models['logistic'])
table(out / 'data_and_predictions.csv', ['id', 'x1', 'x2', 'y_reg', 'y_cls', 'reg_prediction', 'probability', 'split'],
[(i, *X_raw[i], y_reg[i], y_cls[i], reg_prediction[i], probability[i], 'train' if i < 240 else 'valid' if i < 320 else 'test') for i in range(400)])
table(out / 'loss_history.csv', ['step', 'linear_regularized_loss', 'logistic_regularized_loss'],
[(i, histories['linear'][i], histories['logistic'][i]) for i in range(2000)])
fig, axes = plt.subplots(1, 2, figsize=(10, 4), constrained_layout=True)
axes[0].plot(histories['linear'], label='linear + L2')
axes[0].plot(histories['logistic'], label='logistic + L2')
axes[0].set(xlabel='step', ylabel='objective', title='Training objectives (different units)')
axes[0].legend()
axes[1].scatter(y_reg[test], reg_prediction[test], s=24)
axes[1].plot([-5, 5], [-5, 5], '--', color='gray')
axes[1].set(xlabel='true regression target', ylabel='prediction', title='Held-out regression')
figure(fig, out)
finish(out, {'seed': 202, 'split': {'train': 240, 'valid': 80, 'test': 80},
'l2_penalty': 0.05, 'gradient_max_absolute_errors': errors,
'linear_solution_max_difference': np.max(np.abs(models['linear'] - ridge_solution)),
'test': {'regression_MSE': mean_squared_error(y_reg[test], reg_prediction[test]),
'classification_log_loss': log_loss(y_cls[test], probability[test]),
'classification_accuracy_at_0_5': accuracy_score(y_cls[test], probability[test] >= 0.5)},
'scope': 'NumPy full-batch optimization with fixed settings; validation partition not used to tune'})
if __name__ == '__main__':
main()
两种目标都在固定参数探针处用中心差分核对梯度;线性梯度下降还与同目标方程解比较。训练240条,保留80条验证与80条测试,学习率、迭代次数和正则在实验前固定,验证部分没有用于调参。测试报告区分回归MSE、分类Log Loss和0.5阈值Accuracy。
本次真实运行结果
线性与逻辑目标的梯度最大绝对误差分别为1.835e-10、8.021e-11;线性迭代解与同目标方程解最大差为1.332e-15。测试回归MSE=0.1197,分类Log Loss=0.5372,0.5阈值Accuracy=0.7375。两种训练目标单位不同,图上高低不能解释成任务优劣。

图由随包原始数据与脚本生成,未平滑或补造数值;SVG与明细见实验结果目录。
结论的适用边界
| 项目 | 实际检查 | 限制 |
|---|---|---|
| 梯度 | 解析式与中心差分 | 固定数据与探针,非所有输入证明 |
| 线性解 | 同一L2目标的迭代与方程解 | 不直接比较不同库正则缩放 |
| 数值稳定 | 极端logit的Sigmoid有限 | 不能替代所有数值压力测试 |
| 分类决策 | 固定阈值0.5 | 未调阈值,未证明概率校准 |
04 工程场景与排错思路
用结构化特征预测运行时长,可以先建立线性回归基线,检查残差是否随规模系统变化;预测任务失败则可用逻辑回归输出概率,再根据告警代价选择阈值。基线不是为了获得最复杂模型,而是帮助判断后续复杂方法究竟改善了什么。
训练损失不降时,先确认维度、目标、梯度和学习率,再增加迭代次数。部署后结果漂移时,核对特征顺序、单位和训练期标准化;模型权重正确而预处理错位,同样会使预测失效。
05 面试问答与追问
问题1:逻辑回归名字里有回归,为什么做分类?
它对类别概率的对数几率建模,线性部分输出分数,再映射为概率并作决策。名称不意味着它用普通最小二乘去拟合类别ID。
问题2:两种梯度为什么看起来相似?
在线性均方和Sigmoid交叉熵组合下,都可整理成X转置乘预测与目标之差,但预测量和概率假设不同,不能据此交换损失。
问题3:梯度检查通过就能保证训练正确吗?
只能验证相应数据、探针和步长下局部导数一致,还要检查数据划分、迭代方向、数值稳定及最终评价,不能替代完整实验协议。
问题4:为什么不用显式求逆算参数?
求解线性系统通常更适合数值计算;奇异或秩不足时更不能假设逆存在。方程和损失缩放必须先与迭代实现一致。
问题5:把阈值从0.5改为0.3算重新训练吗?
不算,它改变输出概率到类别的决策规则。阈值也属于需要在验证阶段确定的选择,不能用测试反馈反复调整。
问题6:L2参数在两个库里可以直接照搬吗?
不能默认相同。均值或总和损失、二分之一系数、截距处理和参数命名都可能不同,先写出完整目标再比较。
06 本篇回顾与练习
从维度、目标和梯度建立模型,再用稳定计算与独立数值参照检查实现。训练概率与业务决策分开,正则参数与评价口径都要按实际目标解释。
三道递进练习
| 练习 | 思路与验收重点 |
|---|---|
| 手推二维线性回归一次更新 | 给出X、y、初始w和学习率,标出截距是否惩罚。 |
| 改变分类阈值 | 保持同一组概率,比较Precision与Recall,不能重新用测试选阈值。 |
| 比较库实现的正则系数 | 写出完整目标,推导均值损失与总和损失之间的换算。 |
练习表提供方向与验收提示,并非额外完整题解。合成实验用于讲清机制,不能直接推广为真实患者、行业数据或大模型的性能结论。