目录

多元线性回归的推导

多元线性回归于偏回归其实是同一个东西

1.公式推导:

多元线性回归中,x可描述成如下所示,它表示一条样本数据有d个属性

需要做的就是寻找d维列向量w(权重)和常数b,解出方程:

需要想办法将b结合进x中,达到简化计算的目的

X乘以w^就等于:

同一元线性回归一样,接下来我们需要求解下述函数的最小值

由于y-Xw^是一个列向量,平方就是两个列向量的乘积。为了方便计算,我们使用列向量转置(行向量)乘以列向量的形式,其计算结果同两个列向量乘积一样:

现在我们要做的就是最小化目标函数,因此需要对其求导

根据向量求导公式

我们可得出:

上式中第一项中 yT 与 w^ 无关,所以结果为0。接下来计算第二项,根据行向量对列向量的求导公式,我们可以推出

因此上式结果第一项和第二项分别为

最终可得

令此式为0,当X的转置乘以X为满秩矩阵时可逆,因此可求解出w

其中行向量对列向量的求导:

参考博客:【机器学习总结】向量、矩阵求导公式_向量求导公式大全-CSDN博客

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
永恒迷星.by32 分钟前
文件操作(c语言)
c语言·c++·算法·文件操作
还有你Y34 分钟前
MIMO预编码与检测算法的对比
算法·预编码算法
凯强同学1 小时前
第十四届蓝桥杯大赛软件赛省赛Python 大学 C 组:7.翻转
python·算法·蓝桥杯
记得早睡~2 小时前
leetcode51-N皇后
javascript·算法·leetcode·typescript
lancyu3 小时前
C语言--插入排序
c语言·算法·排序算法
点云SLAM3 小时前
C++20新增内容
c++·算法·c++20·c++ 标准库
独好紫罗兰4 小时前
洛谷题单3-P1217 [USACO1.5] 回文质数 Prime Palindromes-python-流程图重构
开发语言·python·算法
独好紫罗兰4 小时前
洛谷题单2-P1424 小鱼的航程(改进版)-python-流程图重构
开发语言·python·算法
qystca5 小时前
蓝桥云客---九宫幻方
算法·深度优先·图论
明月清了个风5 小时前
数据结构与算法学习笔记----贪心区间问题
笔记·学习·算法·贪心算法