线性回归
一、概念与定位
-
类型：监督学习、回归任务
-
定义：用于建模【特征 X】与【连续标签 y】之间的【线性关系】
-
核心思想：找一条直线（或超平面），让预测值 ŷ 与真实值 y 的【误差最小】
二、模型形式
一元线性回归
ŷ = wx + b
-
w：权重（斜率）
-
b：偏置（截距）
多元线性回归（多个特征）
ŷ = w₁x₁ + w₂x₂ + ... + wₙxₙ + b
矩阵写法：ŷ = WᵀX + b
线性回归的"线性"指【参数 w 线性】，特征 x 可以做多项式变换
参数解释
| 符号 | 含义 |
|---|---|
| x | 特征 |
| y | 目标 |
| w | 权重 |
| b | 偏置 |
三、损失函数
衡量预测值 ŷ 与真实值 y 之间的差距。差距越大，损失越大。
| 损失函数 | 公式 | 特点 |
|---|---|---|
| 均方误差（MSE） | MSE = (1/n)·Σ(yᵢ - ŷᵢ)² | 对大误差惩罚重，处处可导，对异常值敏感 本质：线性回归的优化目标就是让 MSE 最小 |
| 平均绝对误差（MAE） | MAE = (1/n)·Σ|yᵢ - ŷᵢ| | 对异常值不敏感，但在0点不可导 |
| Huber Loss | MSE + MAE 的折中 | 小误差用MSE，大误差用MAE |
MSE 计算示例
假设数据：x = [1, 2, 3]，真实 y = [2, 4, 6]，随机参数：w = 1, b = 0
| x | 真实 y | ŷ = 1·x + 0 | y - ŷ | (y - ŷ)² |
|---|---|---|---|---|
| 1 | 2 | 1 | 1 | 1 |
| 2 | 4 | 2 | 2 | 4 |
| 3 | 6 | 3 | 3 | 9 |
MSE = (1 + 4 + 9) / 3 = 14 / 3 ≈ 4.67
四、求解方法
正规方程（最小二乘法）
-
原理：对损失函数求导，令导数为0，直接解出最优w
-
公式：w = (XᵀX)⁻¹ Xᵀy
-
优点：一步到位，不需要调参
-
缺点：计算量 O(n³)，特征多时极慢；(XᵀX)⁻¹ 可能无解
-
适用：小数据集（特征数 < 1000）
正规方程：对每个参数求偏导，联立方程组，同时解出所有参数的最优值
梯度下降（Gradient Descent）
-
原理：沿着梯度的反方向，一步步迭代更新参数
-
核心公式：w_new = w_old - α·∇L(w)
| 参数 | 含义 |
|---|---|
| α | 学习率（步长）------ 超参数 |
| ∇L(w) | 损失函数对 w 的梯度 |
三种形式
| 形式 | 说明 |
|---|---|
| BGD（批量） | 用全部样本计算梯度 |
| SGD（随机） | 每次用一个样本计算梯度 |
| Mini-Batch GD | 每次用一小批样本计算梯度 |
-
优点：适合大规模数据，特征量很大时仍可用
-
缺点：需要调参（学习率、迭代次数）
-
适用：工业界标配，任何规模都可用
梯度下降的理解
梯度下降，就是分别调整每一个参数，每个参数调整的幅度，由它的专属坡度（梯度分量）和学习率共同决定。
更新公式：