1 回归问题
1.1 线性回归
1.1.1 定义
回归：机器学习里用来预测连续数值的任务。
线性：自变量和预测目标之间，满足一次函数关系，图像是直线 / 平面 / 超平面，没有曲线、弯折。线性回归，就是用线性函数，根据已知特征，预测一个连续型数值。
1.1.2 案例(银行贷款额度)
1. 问题设定
目标 ：银行根据年龄(X1X_1X1) 、月工资(X2X_2X2) ，预测可发放的贷款额度(YYY) ，这就是二元线性回归（2个特征、1个预测值）。
- 自变量（特征）：
X1X_1X1 = 年龄
X2X_2X2 = 月工资 - 因变量（预测目标）：
YYY = 银行贷款额度
2. 多元线性回归公式
二元线性回归通用方程：
Y=w0+w1X1+w2X2 Y = w_0 + w_1 X_1 + w_2 X_2 Y=w0+w1X1+w2X2
符号解释（结合贷款场景）：
- w0w_0w0：偏置项，基础贷款额度（所有人默认的基准额度）
- w1w_1w1：年龄权重
- w2w_2w2：工资权重
3. 几何理解
一元线性回归是二维直线 ，二元线性回归是三维空间中的一个平面。
(1) 坐标轴定义（三维图）
三维坐标系三个轴：
- X轴 (X1X_1X1)：年龄（横向轴）
- Y轴 (X2X_2X2)：月工资（纵深轴）
- Z轴 (YYY)：贷款额度（垂直高度轴）
(2) 图形含义
- 每一组
(年龄, 工资, 贷款额)就是三维空间里一个散点； - 线性回归的目标：找到一个平面，让所有真实散点尽量贴近这个平面；
- 这个平面方程就是：Z=w0+w1X1+w2X2\boldsymbol{Z = w_0 + w_1 X_1 + w_2 X_2}Z=w0+w1X1+w2X2。
3. 模型训练逻辑（简单版）
银行手里有大量历史客户数据：(年龄, 工资, 实际放款额)
- 随机初始化 w0,w1,w2w_0,w_1,w_2w0,w1,w2，得到一个初始平面；
- 计算预测贷款额 和真实贷款额的差距（损失/误差）；
- 不断调整 w0,w1,w2w_0,w_1,w_2w0,w1,w2，让误差越来越小；
- 误差最小时，平面固定，模型训练完成，即可用来给新客户预估贷款。