根据高等代数与数分三计算线性回归中的w

结论:

W=(X'X)^(-1)Y'X

' 表示T,转置,(-1)表示矩阵的逆

需知:

数学系中有两门基础课,分别是数分三和高代,其中多元函数的微积分在数分三里有提到,在求多元函数的偏导时,往往使用矩阵

Y=AX,那么Y对X的导数是A,这里Y是m*1的矩阵,A是m*n的矩阵,X是n*1的矩阵

Y=(AX)'(AX),Y对X地导数是A'A
我们考虑一个房价预测问题,我们想要知道一套房子的价格与房子的各个因素之间的关系

房屋的价格收到房子的面积,房子的使用年龄以及与市中心的距离等等的影响,

假设y为房屋的价格,x1到xn来表示房子的各个因素,b为房子的基础价格

我们以及m套房子的具体信息,知道这m套房子的x1到xn以及y,我们想要知道关系式中的w1到wn以及b是多少。假设是线性关系

推导过程:y1到ym是已知的m套房子的房价,这m个等式中w1到wn以及b是未知数,

要使得Loss最小,就是对所有未知数求偏导为0,化为矩阵来做:

注意,这里Yp就是预测的Y值,Yr就是实际的Y值,他们都是矩阵

n+1设为n不影响,是因为n的任意性,设n+1=k,那么k可以设为n,不影响

Loss' 不是Loss的导数,是表示去掉1/m之后的那个部分,下面的w,Y等都是矩阵(向量)

相关推荐
怕浪猫7 小时前
RAG 面试 6 连问,从原理到优化全部覆盖
python·算法·面试
无线通信科研笔记7 小时前
IEEE TVT 2026 论文精读与完整复现|相位误差如何重塑近场 RIS 的幅相响应
论文阅读·人工智能·python·算法·论文笔记
mmmmath_38 小时前
二叉树の递归遍历
算法
All for pursuit.8 小时前
【位运算-1】338.比特位计数
数据结构·c++·算法·leetcode
小师兄吃牛肉9 小时前
C语言中的nullptr有必要吗
c语言·c++·算法
一只小小的芙厨11 小时前
【线性DP】
学习·算法·动态规划
奋发向前wcx11 小时前
CSP-J复赛模拟赛5 王晨旭补题 2026.10.5
算法
罗湖老棍子12 小时前
C Looooops(信息学奥赛一本通- P1640)
算法·数论·同余·裴蜀定理·扩展欧几里得
for_ever_love__13 小时前
线性回归与梯度下降——从零手写一个模型
python·机器学习·线性回归·梯度下降
2601_9689007714 小时前
大模型版本回归评估实战:从能力指标到额度口径的完整链路
android·数据挖掘·回归