最小二乘法-超详细推导(转换为矩阵乘法推导,矩阵求导推导)

最小二乘法就是让均方误差最小。

下面是损失函数转换为矩阵方式的详解

如何让其最小,在导数为0的地方取极小值。

问:导数为0的地方可能去极大值,也可能是极小值,凭什么说导数为0就是极小值?

答:因为使用的是均方误差,他是一个凹函数,导数为0的点即为最小值和极小值。

建议学习一下线性代数

先看这个例子,怕有的人看不懂之后咋来的。

以此类推:

上述式子中共有4项,最后一项不含θ ,所以求导为0,其余前三项求导,下面将给出矩阵的求导方式。

因为x是我们的数据,θ 才是我们要的参数,所以对θ 求θ 导。

由此别得到最优解。

相关推荐
是main不是漫4 小时前
【快慢指针 | LeetCode202 快乐数】鸽巢原理佐证环特性,快慢指针巧解快乐数
c语言·开发语言·c++·算法
Felven5 小时前
A. Iskander and Drawings
算法
一水鉴天5 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
伞伞悦读7 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
qq_348231858 小时前
大模型算法: 反向传播
算法
电科_银尘8 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
专注仿真9 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
leobertlan11 小时前
痛苦系列 | DSP-04 截断时空的“窗”:FIR 滤波器设计与线性相位
算法
秋天的怀念_David12 小时前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法