多元线性回归于偏回归其实是同一个东西
1.公式推导：
在多元线性回归中，x可描述成如下所示，它表示一条样本数据有d个属性
需要做的就是寻找d维列向量w（权重）和常数b，解出方程：
需要想办法将b结合进x中，达到简化计算的目的
令
X乘以w^就等于：
同一元线性回归一样，接下来我们需要求解下述函数的最小值
由于y-Xw^是一个列向量，平方就是两个列向量的乘积。为了方便计算，我们使用列向量转置(行向量)乘以列向量的形式，其计算结果同两个列向量乘积一样：
现在我们要做的就是最小化目标函数，因此需要对其求导
根据向量求导公式
我们可得出：
上式中第一项中 yT 与 w^ 无关，所以结果为0。接下来计算第二项，根据行向量对列向量的求导公式，我们可以推出
因此上式结果第一项和第二项分别为
最终可得
令此式为0，当X的转置乘以X为满秩矩阵时可逆，因此可求解出w
其中行向量对列向量的求导：
参考博客：【机器学习总结】向量、矩阵求导公式_向量求导公式大全-CSDN博客
