根据高等代数与数分三计算线性回归中的w

结论:

W=(X'X)^(-1)Y'X

' 表示T,转置,(-1)表示矩阵的逆

需知:

数学系中有两门基础课,分别是数分三和高代,其中多元函数的微积分在数分三里有提到,在求多元函数的偏导时,往往使用矩阵

Y=AX,那么Y对X的导数是A,这里Y是m*1的矩阵,A是m*n的矩阵,X是n*1的矩阵

Y=(AX)'(AX),Y对X地导数是A'A
我们考虑一个房价预测问题,我们想要知道一套房子的价格与房子的各个因素之间的关系

房屋的价格收到房子的面积,房子的使用年龄以及与市中心的距离等等的影响,

假设y为房屋的价格,x1到xn来表示房子的各个因素,b为房子的基础价格

我们以及m套房子的具体信息,知道这m套房子的x1到xn以及y,我们想要知道关系式中的w1到wn以及b是多少。假设是线性关系

推导过程:y1到ym是已知的m套房子的房价,这m个等式中w1到wn以及b是未知数,

要使得Loss最小,就是对所有未知数求偏导为0,化为矩阵来做:

注意,这里Yp就是预测的Y值,Yr就是实际的Y值,他们都是矩阵

n+1设为n不影响,是因为n的任意性,设n+1=k,那么k可以设为n,不影响

Loss' 不是Loss的导数,是表示去掉1/m之后的那个部分,下面的w,Y等都是矩阵(向量)

相关推荐
水蓝烟雨6 分钟前
2359. 找到离给定两个节点最近的节点
算法·leetcode
澈20720 分钟前
哈希表:O(1)查找的终极指南
算法·哈希算法·散列表
幻奏岚音33 分钟前
AI模型用户画像分析_new
人工智能·算法·计算机视觉·数据挖掘
阿Y加油吧1 小时前
二刷 LeetCode:爬楼梯与杨辉三角,Java 实现复盘
java·算法·leetcode
落羽的落羽1 小时前
【项目】C++从零实现JsonRpc框架——项目引入
linux·服务器·开发语言·c++·人工智能·算法·机器学习
凌波粒1 小时前
LeetCode--101. 对称二叉树(二叉树)
算法·leetcode·职场和发展
不知名的忻1 小时前
堆排序(Java)
java·数据结构·算法·排序算法
_深海凉_1 小时前
LeetCode热题100-二叉树的最大深度
算法·leetcode·职场和发展
智者知已应修善业1 小时前
【51单片机独立按键和定时器中断的疑惑验证】2023-11-2
c++·经验分享·笔记·算法·51单片机
折翅嘀皇虫1 小时前
【无标题】steal_work_thread_pool
服务器·前端·算法