根据高等代数与数分三计算线性回归中的w

结论:

W=(X'X)^(-1)Y'X

' 表示T,转置,(-1)表示矩阵的逆

需知:

数学系中有两门基础课,分别是数分三和高代,其中多元函数的微积分在数分三里有提到,在求多元函数的偏导时,往往使用矩阵

Y=AX,那么Y对X的导数是A,这里Y是m*1的矩阵,A是m*n的矩阵,X是n*1的矩阵

Y=(AX)'(AX),Y对X地导数是A'A
我们考虑一个房价预测问题,我们想要知道一套房子的价格与房子的各个因素之间的关系

房屋的价格收到房子的面积,房子的使用年龄以及与市中心的距离等等的影响,

假设y为房屋的价格,x1到xn来表示房子的各个因素,b为房子的基础价格

我们以及m套房子的具体信息,知道这m套房子的x1到xn以及y,我们想要知道关系式中的w1到wn以及b是多少。假设是线性关系

推导过程:y1到ym是已知的m套房子的房价,这m个等式中w1到wn以及b是未知数,

要使得Loss最小,就是对所有未知数求偏导为0,化为矩阵来做:

注意,这里Yp就是预测的Y值,Yr就是实际的Y值,他们都是矩阵

n+1设为n不影响,是因为n的任意性,设n+1=k,那么k可以设为n,不影响

Loss' 不是Loss的导数,是表示去掉1/m之后的那个部分,下面的w,Y等都是矩阵(向量)

相关推荐
1000世界小札34 分钟前
《大话数据结构》第9章精读:归并排序与快速排序完整 C++ 实现
数据结构·c++·算法
2601_956121973 小时前
背包基础篇(01、完全、分组、多重、混合)
c++·算法·动态规划
兴通物联科技4 小时前
SMT PCB 微小 DataMatrix 码扫不动问题分析 兴通 XT8601B 600 万像素工业读码器落地实践
大数据·人工智能·单片机·嵌入式硬件·算法·计算机视觉
月华路7 小时前
G1 GC 对数组与大对象(Humongous)的处理
java·jvm·算法
我想走路带风7 小时前
LRU和最长前缀和(计算机网络算法)
计算机网络·算法
M78佐菲7 小时前
Linux学习笔记:进程
linux·笔记·学习·算法
徐小夕9 小时前
表格、文档、甘特、大屏、表单一站打通:pxcharts超级表格4.0正式上线!
前端·算法·github
TechLee10 小时前
跨语言加解密总对不上?这个纯 Go 神库让 AES/RSA 与 PHP、Java 100% 互通
java·后端·算法
hh95011 小时前
gent Plan × DeepSeek Harness Agent 单元测试与行为回归框架
人工智能·数据挖掘·回归·单元测试·agent plan·adg成都社区·adg社区