多元线性回归的推导

多元线性回归于偏回归其实是同一个东西

1.公式推导:

在多元线性回归中,x可描述成如下所示,它表示一条样本数据有d个属性

需要做的就是寻找d维列向量w(权重)和常数b,解出方程:

需要想办法将b结合进x中,达到简化计算的目的

令

X乘以w^就等于:

同一元线性回归一样,接下来我们需要求解下述函数的最小值

由于y-Xw^是一个列向量,平方就是两个列向量的乘积。为了方便计算,我们使用列向量转置(行向量)乘以列向量的形式,其计算结果同两个列向量乘积一样:

现在我们要做的就是最小化目标函数,因此需要对其求导

根据向量求导公式

我们可得出:

上式中第一项中 yT 与 w^ 无关,所以结果为0。接下来计算第二项,根据行向量对列向量的求导公式,我们可以推出

因此上式结果第一项和第二项分别为

最终可得

令此式为0,当X的转置乘以X为满秩矩阵时可逆,因此可求解出w

其中行向量对列向量的求导:

参考博客:【机器学习总结】向量、矩阵求导公式_向量求导公式大全-CSDN博客

相关推荐
电科_银尘1 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴5 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David5 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
Pniubi8 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK8 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
上海潭龙东海科技有限公司10 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师11 小时前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法
用户73416810354812 小时前
基于MindSpore的深度残差收缩网络程序
算法
Pniubi12 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
青少儿编程课堂14 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛