多元线性回归的推导

多元线性回归于偏回归其实是同一个东西

1.公式推导:

多元线性回归中,x可描述成如下所示,它表示一条样本数据有d个属性

需要做的就是寻找d维列向量w(权重)和常数b,解出方程:

需要想办法将b结合进x中,达到简化计算的目的

X乘以w^就等于:

同一元线性回归一样,接下来我们需要求解下述函数的最小值

由于y-Xw^是一个列向量,平方就是两个列向量的乘积。为了方便计算,我们使用列向量转置(行向量)乘以列向量的形式,其计算结果同两个列向量乘积一样:

现在我们要做的就是最小化目标函数,因此需要对其求导

根据向量求导公式

我们可得出:

上式中第一项中 yT 与 w^ 无关,所以结果为0。接下来计算第二项,根据行向量对列向量的求导公式,我们可以推出

因此上式结果第一项和第二项分别为

最终可得

令此式为0,当X的转置乘以X为满秩矩阵时可逆,因此可求解出w

其中行向量对列向量的求导:

参考博客:【机器学习总结】向量、矩阵求导公式_向量求导公式大全-CSDN博客

相关推荐
pusue_the_sun10 分钟前
数据结构——顺序表&&单链表oj详解
c语言·数据结构·算法·链表·顺序表
yi.Ist1 小时前
图论——Djikstra最短路
数据结构·学习·算法·图论·好难
数据爬坡ing1 小时前
过程设计工具深度解析-软件工程之详细设计(补充篇)
大数据·数据结构·算法·apache·软件工程·软件构建·设计语言
茜子.Java2 小时前
二分算法(模板)
算法
qq_513970443 小时前
力扣 hot100 Day74
数据结构·算法·leetcode
Cx330❀4 小时前
【数据结构初阶】--排序(三):冒泡排序、快速排序
c语言·数据结构·经验分享·算法·排序算法
效效超爱笑5 小时前
数据结构---链式结构二叉树
数据结构·算法
汤永红6 小时前
week1-[循环嵌套]蛇
数据结构·c++·算法
zhangzibiao7 小时前
LLM 与传统解析技术的融合:网页数据提取的演进与最佳实践
算法
墨染点香7 小时前
LeetCode 刷题【42. 接雨水】
算法·leetcode·职场和发展