根据高等代数与数分三计算线性回归中的w

结论:

W=(X'X)^(-1)Y'X

' 表示T,转置,(-1)表示矩阵的逆

需知:

数学系中有两门基础课,分别是数分三和高代,其中多元函数的微积分在数分三里有提到,在求多元函数的偏导时,往往使用矩阵

Y=AX,那么Y对X的导数是A,这里Y是m*1的矩阵,A是m*n的矩阵,X是n*1的矩阵

Y=(AX)'(AX),Y对X地导数是A'A
我们考虑一个房价预测问题,我们想要知道一套房子的价格与房子的各个因素之间的关系

房屋的价格收到房子的面积,房子的使用年龄以及与市中心的距离等等的影响,

假设y为房屋的价格,x1到xn来表示房子的各个因素,b为房子的基础价格

我们以及m套房子的具体信息,知道这m套房子的x1到xn以及y,我们想要知道关系式中的w1到wn以及b是多少。假设是线性关系

推导过程:y1到ym是已知的m套房子的房价,这m个等式中w1到wn以及b是未知数,

要使得Loss最小,就是对所有未知数求偏导为0,化为矩阵来做:

注意,这里Yp就是预测的Y值,Yr就是实际的Y值,他们都是矩阵

n+1设为n不影响,是因为n的任意性,设n+1=k,那么k可以设为n,不影响

Loss' 不是Loss的导数,是表示去掉1/m之后的那个部分,下面的w,Y等都是矩阵(向量)

相关推荐
To_OC2 小时前
LC 207 课程表:刚学图论那会儿,我连这是拓扑排序都没看出来
javascript·算法·leetcode
To_OC2 小时前
LC 208 实现 Trie 前缀树:曾被名字劝退,写完发现是送分题
javascript·算法·leetcode
BadBadBad__AK4 小时前
线段树维护区间 k 次方和
c++·数学·算法·stl
_清歌16 小时前
DSpark 深度解读:DeepSeek-V4 如何用「半自回归」把推理速度提升 85%
算法
统计实现局16 小时前
SVD 的三步走:双对角化、Givens 收敛、排序
算法
躬行见万象16 小时前
《VLA 系列》UniLab 强化训练 | G1 机器人 |复现
算法
统计实现局16 小时前
对称不定分解(Bunch-Kaufman):为什么 Cholesky 不够用
算法
统计实现局16 小时前
dqrsl 拆解:拿着 QR 结果能算出哪 5 种东西
算法
统计实现局16 小时前
为什么 Cholesky 求逆比 Gauss-Jordan 快一倍——行列式溢出防护详
算法