李沐深度学习笔记D3-线性回归

举例:在美国买房子

网站上有房东设置的售价Price,有网站给的估价Redfin Estimate,用户需要自己评估未来房子值多少钱,对应给出自己的出价,那么我们以时间为轴,对房价进行评估的方法,就可以使用所谓的线性回归算法进行预测,这也是一个最简单的线性回归的例子

简化模型

假设1:影响房价的关键因素是:卧室的个数、卫生间个数、房屋的居住面积,记为x1,x2,x3

假设2:成交价是关键因素的加权和

y=w1x1+w2x2+w3x3+b (w1、w2、w3 是权重)

我们就可以把这种线性模型看成是一种单层的神经网络

输出的值o1由多个不同权重的元素x影响,高度为1层,所以认为是单层的神经网络

什么是神经网络

神经网络来源于神经科学

举例两个真实的神经元之间的通信,首先一个负责感知的神经元,它的神经末梢感知不同神经信号或者元素,将其输入到神经元中心进行计算,并将计算的结果进行输出,通过连接推送给下一个神经元,在连接中也会有一些判断和识别,比如达到某种阈值才能通过传输;

这是传统的神经科学,人们通过神经科学的发展,也逐步想到能否我们自己造一个人工的神经元,通过对不同元素进行不同权重的计算,获取到我们想要的结果,这就是神经网络的诞生原因

回归正题,我们如何判断模型是否准确呢

比较真实值和预估值

一个新名词:平方损失

计算逻辑:平方损失= 1/2 (真实值-预估值)的平方

用来衡量如果我们的模型没有猜中真实值所带来的损失

有了模型,有了偏差计算,下一步我们要训练数据

需要收集一些已有或者历史的数据进行模型的训练,比如收集最近一年卖出的房子数据进行训练,训练的数据理论上越多越好,因为我们可以根据结果和实际的数据的偏差比如平方损失对模型进行调优,所以数据越多模型越准确

举例过去一年卖出的房子的数据,x1-xn为每个房子不同元素的参数值,y1-yn为实际价格,那么我们的训练损失为这样一个模型

从左到右解读为:训练房子的价值对于不同参数x关于不同权重w以及偏差b的训练损失的平均值,等于1/2乘以1/n(平均值)乘以(从第一个房子开始一直到第i个房子的(房子的实际价值 - 我们根据元素x和权重w计算得出的预估价值 - 偏差值b)的平方的和),对应上面的平方损失公式,其实就是数据集的平方损失

我们的目标就是使训练损失尽量小,那么就是寻找一个权重w和偏差b的组合,使训练损失最小

总结

只有线性回归模型有显示解,什么是显示解,就是通过模型能够得到最小偏差的w和b的最优解,一般只有非常简单的模型才会有最优解,比较复杂的模型都不会有最优解,只能通过不断的数据训练和参数调整优化模型的准确度

相关推荐
能来帮帮蒟蒻吗2 小时前
深度学习(2)—— 神经网络与训练
人工智能·深度学习·神经网络
d111111111d3 小时前
STM32外设学习--DMA直接存储器读取(AD扫描程序,DMA搬运)--学习笔记。
笔记·stm32·单片机·嵌入式硬件·学习
labview_自动化4 小时前
GitHub笔记
笔记·github
知行力4 小时前
【GitHub每日速递 20251111】PyTorch:GPU加速、动态网络,深度学习平台的不二之选!
pytorch·深度学习·github
华法林的小助手4 小时前
[笔记]SolidWorks转URDF 在rviz2中显示
笔记
流川_疯4 小时前
CANOE概念与应用
经验分享·笔记·学习·汽车
im_AMBER5 小时前
Leetcode 51
笔记·学习·算法·leetcode·深度优先
Radan小哥5 小时前
Docker学习笔记---day001
笔记·学习·docker
ifeng09185 小时前
HarmonyOS资源加载进阶:惰性加载、预加载与缓存机制
深度学习·缓存·harmonyos