多元线性回归的推导

多元线性回归于偏回归其实是同一个东西

1.公式推导:

多元线性回归中,x可描述成如下所示,它表示一条样本数据有d个属性

需要做的就是寻找d维列向量w(权重)和常数b,解出方程:

需要想办法将b结合进x中,达到简化计算的目的

X乘以w^就等于:

同一元线性回归一样,接下来我们需要求解下述函数的最小值

由于y-Xw^是一个列向量,平方就是两个列向量的乘积。为了方便计算,我们使用列向量转置(行向量)乘以列向量的形式,其计算结果同两个列向量乘积一样:

现在我们要做的就是最小化目标函数,因此需要对其求导

根据向量求导公式

我们可得出:

上式中第一项中 yT 与 w^ 无关,所以结果为0。接下来计算第二项,根据行向量对列向量的求导公式,我们可以推出

因此上式结果第一项和第二项分别为

最终可得

令此式为0,当X的转置乘以X为满秩矩阵时可逆,因此可求解出w

其中行向量对列向量的求导:

参考博客:【机器学习总结】向量、矩阵求导公式_向量求导公式大全-CSDN博客

相关推荐
mit6.8241 小时前
[Lc_week] 447 | 155 | Q1 | hash | pair {}调用
算法·leetcode·哈希算法·散列表
jerry6092 小时前
优先队列、堆笔记(算法第四版)
java·笔记·算法
勤劳的牛马3 小时前
📚 小白学算法 | 每日一题 | 算法实战:加1!
算法
Epiphany.5563 小时前
基于c++的LCA倍增法实现
c++·算法·深度优先
一只码代码的章鱼3 小时前
学习笔记2(Lombok+算法)
笔记·学习·算法
jerry6094 小时前
c++流对象
开发语言·c++·算法
2301_817031655 小时前
C语言-- 深入理解指针(4)
c语言·开发语言·算法
·醉挽清风·5 小时前
学习笔记—双指针算法—移动零
c++·笔记·学习·算法
几点才到啊5 小时前
使用 malloc 函数模拟开辟一个 3x5 的整型二维数组
数据结构·算法
编程绿豆侠5 小时前
力扣HOT100之链表:23. 合并 K 个升序链表
算法·leetcode·链表