【大模型算法与工程 02】线性回归与逻辑回归:从损失函数到决策边界

文章目录

01 本篇要解决什么问题

线性回归与逻辑回归名字相近,一个预测数值,一个常用于分类。真正需要掌握的是:模型输出、损失和梯度为什么这样组合,正则化如何进入更新,概率又如何变成决策。本篇从统一记号出发,用有限差分检查手写梯度。

02 核心原理、公式与条件

(1)统一形状,再写公式

设原始特征 X ∈ R n × d X\in\mathbb R^{n\times d} X∈Rn×d,在最后追加全1列得到 X ~ ∈ R n × ( d + 1 ) \tilde X\in\mathbb R^{n\times(d+1)} X~∈Rn×(d+1),参数 w ∈ R d + 1 w\in\mathbb R^{d+1} w∈Rd+1,最后一个分量表示截距。预测线性分数为 z = X ~ w z=\tilde Xw z=X~w,目标 y y y在本例为长度 n n n的一维数组。

NumPy里 ( n , ) (n,) (n,)和 ( n , 1 ) (n,1) (n,1)广播后可能意外产生 ( n , n ) (n,n) (n,n),所以维度不是形式细节。实现前先检查每个中间量的形状,再讨论算法有没有收敛。

(2)线性回归优化连续预测误差

采用带L2的半均方目标,且不惩罚截距:

L r e g ( w ) = 1 2 n ∥ X ~ w − y ∥ 2 2 + λ 2 w T D w , D = diag ⁡ ( 1 , ... , 1 , 0 ) . L_{\mathrm{reg}}(w)=\frac{1}{2n}\|\tilde Xw-y\|_2^2+\frac\lambda2w^TDw, \quad D=\operatorname{diag}(1,\ldots,1,0). Lreg(w)=2n1∥X~w−y∥22+2λwTDw,D=diag(1,...,1,0).

∇ w L r e g = 1 n X ~ T ( X ~ w − y ) + λ D w . \nabla_w L_{\mathrm{reg}}=\frac1n\tilde X^T(\tilde Xw-y)+\lambda Dw. ∇wLreg=n1X~T(X~w−y)+λDw.

二分之一让平方项求导更简洁,不改变无正则时的最优位置。平方误差也可从特定高斯噪声假设推导,但不是所有回归任务都应强行采用同一噪声模型或同一损失。

(3)逻辑回归把线性分数映射成概率

二分类定义 p = σ ( z ) = 1 / ( 1 + e − z ) p=\sigma(z)=1/(1+e^{-z}) p=σ(z)=1/(1+e−z)。使用二元交叉熵与相同正则:

L c l s ( w ) = 1 n ∑ i log ⁡ ( 1 + e z i ) − y i z i + λ 2 w T D w . L_{\mathrm{cls}}(w)=\frac1n\sum_i\left\\log(1+e\^{z_i})-y_iz_i\\right+\frac\lambda2w^TDw. Lcls(w)=n1i∑log(1+ezi)−yizi+2λwTDw.

∇ w L c l s = 1 n X ~ T ( p − y ) + λ D w . \nabla_w L_{\mathrm{cls}}=\frac1n\tilde X^T(p-y)+\lambda Dw. ∇wLcls=n1X~T(p−y)+λDw.

它和线性回归梯度都可写成特征转置乘"预测残差",但残差的意义不同。逻辑回归不是先做普通最小二乘再随便套Sigmoid;目标与概率模型应配套。线性模型官方说明

(4)稳定计算比公式表面等价更重要

直接exp很大正数会溢出,直接log接近0的概率也可能不稳定。代码用logaddexp计算 log ⁡ ( 1 + e z ) \log(1+e^z) log(1+ez),并按 z z z的正负分别计算Sigmoid,避免不必要的大指数。

梯度检查用中心有限差分: L ( w + ϵ e j ) − L ( w − ϵ e j ) / ( 2 ϵ ) L(w+\\epsilon e_j)-L(w-\\epsilon e_j)/(2\epsilon) L(w+ϵej)−L(w−ϵej)/(2ϵ)。它在几个固定探针处比较解析梯度,能发现系数、符号和正则错误,但不是对所有输入的形式证明,也不能用过大或过小步长期待无限精度。

(5)闭式解与迭代解要对准同一目标

本例线性目标的正规方程为 ( X ~ T X ~ / n + λ D ) w = X ~ T y / n (\tilde X^T\tilde X/n+\lambda D)w=\tilde X^Ty/n (X~TX~/n+λD)w=X~Ty/n,用solve解方程,不显式求逆。若无正则且矩阵秩不足,应考虑最小二乘或伪逆等处理,而不能无条件调用普通逆。

本例比较同一目标的梯度下降与方程解。不同库的正则参数缩放可能不同:按总平方误差定义的Ridge alpha,与此处均值损失中的lambda不能直接设成同一个数;需先统一 n n n和常数因子。

(6)阈值改变决策,不改变已经训练的概率

以 p ≥ t p\ge t p≥t预测正类,边界满足 z ≥ log ⁡ t / ( 1 − t ) z\ge\logt/(1-t) z≥logt/(1−t)。当 t = 0.5 t=0.5 t=0.5时边界是 z = 0 z=0 z=0;改阈值会改变查准查全与业务代价,但不会重新拟合参数。

概率是否校准还需独立评价,Accuracy高或ROC-AUC高都不自动证明概率可信。阈值应按验证数据与目标选择,再固定到测试;不能挑测试集最优阈值后把成绩称为独立测试。

(7)正则化、标准化与模型能力

L2惩罚约束参数规模,特征单位会影响它的实际作用,所以标准化参数只从训练集估计,并在后续数据沿用。截距不被惩罚是本篇明确选择,不能悄悄与另一套实现混用。

二分类逻辑回归在当前特征空间给出线性分数边界;可以通过特征变换扩展表达,但不会因为用了Sigmoid就自动得到任意复杂边界。可分数据下无正则逻辑回归还可能出现参数不断增大、没有有限最优参数的情况,应区分损失变小与参数稳定。

03 代码实验、实际结果与验证范围

在完整解压目录运行python examples/lesson_02.py。保留同目录ml_common.py,安装随包requirements.txt;本批在CPU运行,不需下载外部数据。使用正常模式,不用会关闭assert的python -O。

python 复制代码
import numpy as np
from sklearn.metrics import accuracy_score, log_loss, mean_squared_error
from ml_common import output_dir, table, figure, finish, plt


def sigmoid(z):
    result = np.empty_like(z, dtype=float)
    positive = z >= 0
    result[positive] = 1 / (1 + np.exp(-z[positive]))
    exp_z = np.exp(z[~positive])
    result[~positive] = exp_z / (1 + exp_z)
    return result


def objective(w, X, y, kind, penalty):
    z = X @ w
    regularized = w.copy()
    regularized[-1] = 0  # last column is the intercept
    if kind == 'linear':
        data_loss = 0.5 * np.mean((z - y) ** 2)
        residual = z - y
    elif kind == 'logistic':
        data_loss = np.mean(np.logaddexp(0, z) - y * z)
        residual = sigmoid(z) - y
    else:
        raise ValueError('unknown objective')
    loss = data_loss + penalty * np.dot(regularized, regularized) / 2
    gradient = X.T @ residual / len(y) + penalty * regularized
    return loss, gradient


def finite_difference(w, X, y, kind, penalty):
    numeric = np.zeros_like(w)
    for j in range(len(w)):
        step = np.zeros_like(w)
        step[j] = 1e-6
        numeric[j] = (objective(w + step, X, y, kind, penalty)[0] - objective(w - step, X, y, kind, penalty)[0]) / 2e-6
    return numeric


def fit(X, y, kind, penalty=0.05, steps=2000, rate=0.2):
    w, history = np.zeros(X.shape[1]), []
    for _ in range(steps):
        loss, gradient = objective(w, X, y, kind, penalty)
        history.append(loss)
        w -= rate * gradient
    assert np.isfinite(history).all() and history[-1] < history[0]
    return w, history


def main():
    out = output_dir(2)
    rng = np.random.default_rng(202)
    X_raw = rng.normal(size=(400, 2))
    y_reg = X_raw @ np.array([2.0, -1.0]) + 0.7 + rng.normal(scale=0.3, size=400)
    y_cls = (rng.random(400) < sigmoid(X_raw @ np.array([1.5, -1.0]) - 0.2)).astype(int)
    # Indices were fixed before generating results: no hyperparameter search.
    train, valid, test = np.arange(240), np.arange(240, 320), np.arange(320, 400)
    mean, scale = X_raw[train].mean(axis=0), X_raw[train].std(axis=0)
    X = np.column_stack(((X_raw - mean) / scale, np.ones(400)))
    errors, models, histories = {}, {}, {}
    for kind, target in [('linear', y_reg), ('logistic', y_cls)]:
        probe = np.array([0.2, -0.1, 0.3])
        analytic = objective(probe, X[train], target[train], kind, 0.05)[1]
        numeric = finite_difference(probe, X[train], target[train], kind, 0.05)
        errors[kind] = np.max(np.abs(analytic - numeric))
        assert errors[kind] < 1e-6
        models[kind], histories[kind] = fit(X[train], target[train], kind)
    # Independent linear solution for the SAME normalization and L2 objective.
    diagonal = np.diag([1.0, 1.0, 0.0])
    ridge_solution = np.linalg.solve(X[train].T @ X[train] / len(train) + 0.05 * diagonal,
                                    X[train].T @ y_reg[train] / len(train))
    assert np.allclose(models['linear'], ridge_solution, atol=1e-6)
    assert np.isfinite(sigmoid(np.array([-1000.0, 1000.0]))).all()
    reg_prediction = X @ models['linear']
    probability = sigmoid(X @ models['logistic'])
    table(out / 'data_and_predictions.csv', ['id', 'x1', 'x2', 'y_reg', 'y_cls', 'reg_prediction', 'probability', 'split'],
          [(i, *X_raw[i], y_reg[i], y_cls[i], reg_prediction[i], probability[i], 'train' if i < 240 else 'valid' if i < 320 else 'test') for i in range(400)])
    table(out / 'loss_history.csv', ['step', 'linear_regularized_loss', 'logistic_regularized_loss'],
          [(i, histories['linear'][i], histories['logistic'][i]) for i in range(2000)])
    fig, axes = plt.subplots(1, 2, figsize=(10, 4), constrained_layout=True)
    axes[0].plot(histories['linear'], label='linear + L2')
    axes[0].plot(histories['logistic'], label='logistic + L2')
    axes[0].set(xlabel='step', ylabel='objective', title='Training objectives (different units)')
    axes[0].legend()
    axes[1].scatter(y_reg[test], reg_prediction[test], s=24)
    axes[1].plot([-5, 5], [-5, 5], '--', color='gray')
    axes[1].set(xlabel='true regression target', ylabel='prediction', title='Held-out regression')
    figure(fig, out)
    finish(out, {'seed': 202, 'split': {'train': 240, 'valid': 80, 'test': 80},
                 'l2_penalty': 0.05, 'gradient_max_absolute_errors': errors,
                 'linear_solution_max_difference': np.max(np.abs(models['linear'] - ridge_solution)),
                 'test': {'regression_MSE': mean_squared_error(y_reg[test], reg_prediction[test]),
                          'classification_log_loss': log_loss(y_cls[test], probability[test]),
                          'classification_accuracy_at_0_5': accuracy_score(y_cls[test], probability[test] >= 0.5)},
                 'scope': 'NumPy full-batch optimization with fixed settings; validation partition not used to tune'})


if __name__ == '__main__':
    main()

两种目标都在固定参数探针处用中心差分核对梯度;线性梯度下降还与同目标方程解比较。训练240条,保留80条验证与80条测试,学习率、迭代次数和正则在实验前固定,验证部分没有用于调参。测试报告区分回归MSE、分类Log Loss和0.5阈值Accuracy。

本次真实运行结果

线性与逻辑目标的梯度最大绝对误差分别为1.835e-10、8.021e-11;线性迭代解与同目标方程解最大差为1.332e-15。测试回归MSE=0.1197,分类Log Loss=0.5372,0.5阈值Accuracy=0.7375。两种训练目标单位不同,图上高低不能解释成任务优劣。

图由随包原始数据与脚本生成,未平滑或补造数值;SVG与明细见实验结果目录。

结论的适用边界

项目 实际检查 限制
梯度 解析式与中心差分 固定数据与探针,非所有输入证明
线性解 同一L2目标的迭代与方程解 不直接比较不同库正则缩放
数值稳定 极端logit的Sigmoid有限 不能替代所有数值压力测试
分类决策 固定阈值0.5 未调阈值,未证明概率校准

04 工程场景与排错思路

用结构化特征预测运行时长,可以先建立线性回归基线,检查残差是否随规模系统变化;预测任务失败则可用逻辑回归输出概率,再根据告警代价选择阈值。基线不是为了获得最复杂模型,而是帮助判断后续复杂方法究竟改善了什么。

训练损失不降时,先确认维度、目标、梯度和学习率,再增加迭代次数。部署后结果漂移时,核对特征顺序、单位和训练期标准化;模型权重正确而预处理错位,同样会使预测失效。

05 面试问答与追问

问题1:逻辑回归名字里有回归,为什么做分类?

它对类别概率的对数几率建模,线性部分输出分数,再映射为概率并作决策。名称不意味着它用普通最小二乘去拟合类别ID。

问题2:两种梯度为什么看起来相似?

在线性均方和Sigmoid交叉熵组合下,都可整理成X转置乘预测与目标之差,但预测量和概率假设不同,不能据此交换损失。

问题3:梯度检查通过就能保证训练正确吗?

只能验证相应数据、探针和步长下局部导数一致,还要检查数据划分、迭代方向、数值稳定及最终评价,不能替代完整实验协议。

问题4:为什么不用显式求逆算参数?

求解线性系统通常更适合数值计算;奇异或秩不足时更不能假设逆存在。方程和损失缩放必须先与迭代实现一致。

问题5:把阈值从0.5改为0.3算重新训练吗?

不算,它改变输出概率到类别的决策规则。阈值也属于需要在验证阶段确定的选择,不能用测试反馈反复调整。

问题6:L2参数在两个库里可以直接照搬吗?

不能默认相同。均值或总和损失、二分之一系数、截距处理和参数命名都可能不同,先写出完整目标再比较。

06 本篇回顾与练习

从维度、目标和梯度建立模型,再用稳定计算与独立数值参照检查实现。训练概率与业务决策分开,正则参数与评价口径都要按实际目标解释。

三道递进练习

练习 思路与验收重点
手推二维线性回归一次更新 给出X、y、初始w和学习率,标出截距是否惩罚。
改变分类阈值 保持同一组概率,比较Precision与Recall,不能重新用测试选阈值。
比较库实现的正则系数 写出完整目标,推导均值损失与总和损失之间的换算。

练习表提供方向与验收提示,并非额外完整题解。合成实验用于讲清机制,不能直接推广为真实患者、行业数据或大模型的性能结论。

下一篇:03|决策树、随机森林与梯度提升树:结构、集成与选型。

相关推荐
玄昌盛不会编程2 小时前
LeetCode——2243. 计算字符串的数字和
java·算法·leetcode
电科_银尘4 小时前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
电科_银尘5 小时前
【大模型算法与工程 05】分类、回归与排序指标:怎样评价一个模型
算法·分类·回归
罗西的思考18 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考18 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康19 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
武子康1 天前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
卡尔曼的BD SLAMer1 天前
北斗导航 |GNSS ION论文集汇总1997到2022(链接在文末)
算法·北斗导航
时间的拾荒人1 天前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群