多元线性回归的推导

多元线性回归于偏回归其实是同一个东西

1.公式推导:

在多元线性回归中,x可描述成如下所示,它表示一条样本数据有d个属性

需要做的就是寻找d维列向量w(权重)和常数b,解出方程:

需要想办法将b结合进x中,达到简化计算的目的

令

X乘以w^就等于:

同一元线性回归一样,接下来我们需要求解下述函数的最小值

由于y-Xw^是一个列向量,平方就是两个列向量的乘积。为了方便计算,我们使用列向量转置(行向量)乘以列向量的形式,其计算结果同两个列向量乘积一样:

现在我们要做的就是最小化目标函数,因此需要对其求导

根据向量求导公式

我们可得出:

上式中第一项中 yT 与 w^ 无关,所以结果为0。接下来计算第二项,根据行向量对列向量的求导公式,我们可以推出

因此上式结果第一项和第二项分别为

最终可得

令此式为0,当X的转置乘以X为满秩矩阵时可逆,因此可求解出w

其中行向量对列向量的求导:

参考博客:【机器学习总结】向量、矩阵求导公式_向量求导公式大全-CSDN博客

相关推荐
forest_092 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛2 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
不会武功不懂江湖5 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v
Zwawa5 小时前
卡尔曼到底在算什么:从一维到它的变式以及工程版卡尔曼滤波算法C语言实现
c语言·算法·嵌入式
电科_银尘6 小时前
【大模型算法与工程 14】Tokenizer与Embedding:文本如何变成模型输入
算法·embedding
饮水桶_T7 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
地平线开发者10 小时前
让 AI Agent 和 征程6 台架高效、稳定、安全地协作
算法·安全·自动驾驶
kyle~11 小时前
SHA-256 哈希去重
算法·哈希算法
风落青芜14 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法