李沐深度学习笔记D3-线性回归

举例:在美国买房子

网站上有房东设置的售价Price,有网站给的估价Redfin Estimate,用户需要自己评估未来房子值多少钱,对应给出自己的出价,那么我们以时间为轴,对房价进行评估的方法,就可以使用所谓的线性回归算法进行预测,这也是一个最简单的线性回归的例子

简化模型

假设1:影响房价的关键因素是:卧室的个数、卫生间个数、房屋的居住面积,记为x1,x2,x3

假设2:成交价是关键因素的加权和

y=w1x1+w2x2+w3x3+b (w1、w2、w3 是权重)

我们就可以把这种线性模型看成是一种单层的神经网络

输出的值o1由多个不同权重的元素x影响,高度为1层,所以认为是单层的神经网络

什么是神经网络

神经网络来源于神经科学

举例两个真实的神经元之间的通信,首先一个负责感知的神经元,它的神经末梢感知不同神经信号或者元素,将其输入到神经元中心进行计算,并将计算的结果进行输出,通过连接推送给下一个神经元,在连接中也会有一些判断和识别,比如达到某种阈值才能通过传输;

这是传统的神经科学,人们通过神经科学的发展,也逐步想到能否我们自己造一个人工的神经元,通过对不同元素进行不同权重的计算,获取到我们想要的结果,这就是神经网络的诞生原因

回归正题,我们如何判断模型是否准确呢

比较真实值和预估值

一个新名词:平方损失

计算逻辑:平方损失= 1/2 (真实值-预估值)的平方

用来衡量如果我们的模型没有猜中真实值所带来的损失

有了模型,有了偏差计算,下一步我们要训练数据

需要收集一些已有或者历史的数据进行模型的训练,比如收集最近一年卖出的房子数据进行训练,训练的数据理论上越多越好,因为我们可以根据结果和实际的数据的偏差比如平方损失对模型进行调优,所以数据越多模型越准确

举例过去一年卖出的房子的数据,x1-xn为每个房子不同元素的参数值,y1-yn为实际价格,那么我们的训练损失为这样一个模型

从左到右解读为:训练房子的价值对于不同参数x关于不同权重w以及偏差b的训练损失的平均值,等于1/2乘以1/n(平均值)乘以(从第一个房子开始一直到第i个房子的(房子的实际价值 - 我们根据元素x和权重w计算得出的预估价值 - 偏差值b)的平方的和),对应上面的平方损失公式,其实就是数据集的平方损失

我们的目标就是使训练损失尽量小,那么就是寻找一个权重w和偏差b的组合,使训练损失最小

总结

只有线性回归模型有显示解,什么是显示解,就是通过模型能够得到最小偏差的w和b的最优解,一般只有非常简单的模型才会有最优解,比较复杂的模型都不会有最优解,只能通过不断的数据训练和参数调整优化模型的准确度

相关推荐
沪漂阿龙9 小时前
OpenAI Agents SDK 深度解析(三):执行层——Agent 的“幕后指挥部”
人工智能·深度学习
数智工坊9 小时前
【SAM-DETR论文阅读】:基于语义对齐匹配的DETR极速收敛检测框架
网络·论文阅读·人工智能·深度学习·transformer
童园管理札记9 小时前
【续】数字时代:学前教育的新改革
经验分享·深度学习·职场和发展·微信公众平台
tq108610 小时前
数学:约束表征空间的最小闭包
笔记
AI医影跨模态组学11 小时前
如何将纵向CT影像组学特征与局部晚期胃癌化疗时空异质性及耐药演化建立关联,并进一步解释其与化疗响应、淋巴结转移及生存预后的机制联系
人工智能·深度学习·论文·医学·医学影像·影像组学
freexyn11 小时前
Matlab自学笔记七十六:表达式的展开、因式分解、化简、合并同类项
笔记·算法·matlab
硅谷秋水13 小时前
ClawVM:有状态工具LLM智体的Harness管理型虚拟内存
人工智能·深度学习·语言模型
IT摆渡者13 小时前
linux 系统安全检查
运维·网络·经验分享·笔记
春风有信14 小时前
【DM】DDPM与DDIM的数学原理
人工智能·深度学习·机器学习
T.i.s14 小时前
总变差正则化(TV Loss)的思考
人工智能·pytorch·深度学习