根据高等代数与数分三计算线性回归中的w

结论:

W=(X'X)^(-1)Y'X

' 表示T,转置,(-1)表示矩阵的逆

需知:

数学系中有两门基础课,分别是数分三和高代,其中多元函数的微积分在数分三里有提到,在求多元函数的偏导时,往往使用矩阵

Y=AX,那么Y对X的导数是A,这里Y是m*1的矩阵,A是m*n的矩阵,X是n*1的矩阵

Y=(AX)'(AX),Y对X地导数是A'A
我们考虑一个房价预测问题,我们想要知道一套房子的价格与房子的各个因素之间的关系

房屋的价格收到房子的面积,房子的使用年龄以及与市中心的距离等等的影响,

假设y为房屋的价格,x1到xn来表示房子的各个因素,b为房子的基础价格

我们以及m套房子的具体信息,知道这m套房子的x1到xn以及y,我们想要知道关系式中的w1到wn以及b是多少。假设是线性关系

推导过程:y1到ym是已知的m套房子的房价,这m个等式中w1到wn以及b是未知数,

要使得Loss最小,就是对所有未知数求偏导为0,化为矩阵来做:

注意,这里Yp就是预测的Y值,Yr就是实际的Y值,他们都是矩阵

n+1设为n不影响,是因为n的任意性,设n+1=k,那么k可以设为n,不影响

Loss' 不是Loss的导数,是表示去掉1/m之后的那个部分,下面的w,Y等都是矩阵(向量)

相关推荐
WiChP29 分钟前
【V0.1B16】从零开始的2D游戏引擎开发之路
开发语言·算法·游戏引擎
番茄巴士1 小时前
手写一个 mini HashMap,彻底搞懂哈希表原理
算法
宣宣猪的小花园.2 小时前
【机器学习】过拟合与泛化:模型为什么会“刷题很强、实战失灵”
人工智能·算法·机器学习
INGNIGHT2 小时前
624.数组列表中的最大距离(maximum)
算法·散列表
Niuguangshuo2 小时前
论文解读:w2v-BERT,把 wav2vec 2.0 和 BERT 合成一根管子的语音 SSL
算法·音视频·语音识别
科技小E2 小时前
国标视频分析平台EasyGBS×自动化AI算法训练服务器DLTM,把通用AI炼成你的现场AI
算法·自动化·音视频
zander2582 小时前
LeetCode 15. 三数之和
算法
AiNightVision2 小时前
NMC存算一体与AI ISP
人工智能·算法·车载系统·自动驾驶·无人机·视频·智能硬件
不穿鞋的懒羊羊2 小时前
高精度算法——加、减、乘、除
算法
liliangcsdn2 小时前
基本面因子计算的示例分析
算法