线性回归求解

总成绩 XXX 和数学成绩 YYY 数据如下:

1 求数学成绩对总成绩的回归方程。

2 如果一个学生总成绩是450,求该学生的数学成绩。

这个基本上算是目前机器学习的基石了,说起来也算是高中的知识范围,我不知道是不是人人都懂了,我觉得我不是很懂,所以专门写一篇来总结总结。。。

回归方程是Y=a+bX。所以现在要求的就是截距a和回归系数b。

首先计算平均值:

然后计算回归系数b

计算截距a

所以方程是:

Y=14.49+0.1325X

那么第二个问题也很好解了。代入总成绩 X=450X = 450X=450,Y = 14.49+0.1325×450=14.49+59.625=74.115。

上面的过程基本不算难,就是回归系数的推算,看了下是最小二乘法。

然后推断出上面的回归系数公式。

对了,再提一嘴,两个点求函数怎么求呢?这个初中知识。。。

斜率b = (y2 - y1)/(x2 - x1)

截距a = y - ax(任意一个点都行)

在现代计算机中,这部分都是改成矩阵运算了(所以最早搞游戏矩阵运算的老黄接下了这个泼天富贵。。。)

其中,XXX 是自变量矩阵,YYY 是因变量向量。

这里面具体的算法容我后面再看看。。。

再说说最小二乘法,其实这个翻译真的很有问题,弯弯那边翻译成最小平方法,我觉得很贴切。一张图就可以看到这个的本质

本质就是使得绿线的平方和最小,那么这个曲线就是最优。为什么用平方不用绝对值呢?据说原因有二。1是平方计算可导,更加方便。2是用平方可以放大误差,这样计算效果更好。

所以最小二乘法通过最小化以下目标函数来找到最佳拟合直线,基本就是算=0的情况。

最后再早说说最小二乘法和梯度下降算法。

最小二乘法和梯度下降算法在目标和应用上有所区别,理解它们的关系和差异,有助于选择合适的方法解决具体问题。最小二乘法适用于简单线性回归和小数据集,而梯度下降则更灵活,适用于复杂和大规模数据集。

简而言之,就是最小二乘法只能用在简单的场景。复杂的还是只能用梯度下降。。。

参考:

最小二乘法

相关推荐
CryptoPP10 分钟前
springboot 对接马来西亚数据源API等多个国家的数据源
spring boot·后端·python·金融·区块链
ゞ 正在缓冲99%…10 分钟前
leetcode76.最小覆盖子串
java·算法·leetcode·字符串·双指针·滑动窗口
xuanjiong11 分钟前
纯个人整理,蓝桥杯使用的算法模板day2(0-1背包问题),手打个人理解注释,超全面,且均已验证成功(附带详细手写“模拟流程图”,全网首个
算法·蓝桥杯·动态规划
xcLeigh18 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
大乔乔布斯18 分钟前
AttributeError: module ‘smtplib‘ has no attribute ‘SMTP_SSL‘ 解决方法
python·bash·ssl
惊鸿.Jh30 分钟前
【滑动窗口】3254. 长度为 K 的子数组的能量值 I
数据结构·算法·leetcode
明灯L31 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
databook32 分钟前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn
碳基学AI37 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
niuniu_66638 分钟前
简单的自动化场景(以 Chrome 浏览器 为例)
运维·chrome·python·selenium·测试工具·自动化·安全性测试