最小二乘法-超详细推导（转换为矩阵乘法推导，矩阵求导推导）

最小二乘法就是让均方误差最小。

下面是损失函数转换为矩阵方式的详解

如何让其最小，在导数为0的地方取极小值。

问：导数为0的地方可能去极大值，也可能是极小值，凭什么说导数为0就是极小值？

答：因为使用的是均方误差，他是一个凹函数，导数为0的点即为最小值和极小值。

建议学习一下线性代数

先看这个例子，怕有的人看不懂之后咋来的。

以此类推：

上述式子中共有4项，最后一项不含θ ，所以求导为0，其余前三项求导，下面将给出矩阵的求导方式。

因为x是我们的数据，θ 才是我们要的参数，所以对θ 求θ 导。

由此别得到最优解。