李沐深度学习笔记D3-线性回归

举例:在美国买房子

网站上有房东设置的售价Price,有网站给的估价Redfin Estimate,用户需要自己评估未来房子值多少钱,对应给出自己的出价,那么我们以时间为轴,对房价进行评估的方法,就可以使用所谓的线性回归算法进行预测,这也是一个最简单的线性回归的例子

简化模型

假设1:影响房价的关键因素是:卧室的个数、卫生间个数、房屋的居住面积,记为x1,x2,x3

假设2:成交价是关键因素的加权和

y=w1x1+w2x2+w3x3+b (w1、w2、w3 是权重)

我们就可以把这种线性模型看成是一种单层的神经网络

输出的值o1由多个不同权重的元素x影响,高度为1层,所以认为是单层的神经网络

什么是神经网络

神经网络来源于神经科学

举例两个真实的神经元之间的通信,首先一个负责感知的神经元,它的神经末梢感知不同神经信号或者元素,将其输入到神经元中心进行计算,并将计算的结果进行输出,通过连接推送给下一个神经元,在连接中也会有一些判断和识别,比如达到某种阈值才能通过传输;

这是传统的神经科学,人们通过神经科学的发展,也逐步想到能否我们自己造一个人工的神经元,通过对不同元素进行不同权重的计算,获取到我们想要的结果,这就是神经网络的诞生原因

回归正题,我们如何判断模型是否准确呢

比较真实值和预估值

一个新名词:平方损失

计算逻辑:平方损失= 1/2 (真实值-预估值)的平方

用来衡量如果我们的模型没有猜中真实值所带来的损失

有了模型,有了偏差计算,下一步我们要训练数据

需要收集一些已有或者历史的数据进行模型的训练,比如收集最近一年卖出的房子数据进行训练,训练的数据理论上越多越好,因为我们可以根据结果和实际的数据的偏差比如平方损失对模型进行调优,所以数据越多模型越准确

举例过去一年卖出的房子的数据,x1-xn为每个房子不同元素的参数值,y1-yn为实际价格,那么我们的训练损失为这样一个模型

从左到右解读为:训练房子的价值对于不同参数x关于不同权重w以及偏差b的训练损失的平均值,等于1/2乘以1/n(平均值)乘以(从第一个房子开始一直到第i个房子的(房子的实际价值 - 我们根据元素x和权重w计算得出的预估价值 - 偏差值b)的平方的和),对应上面的平方损失公式,其实就是数据集的平方损失

我们的目标就是使训练损失尽量小,那么就是寻找一个权重w和偏差b的组合,使训练损失最小

总结

只有线性回归模型有显示解,什么是显示解,就是通过模型能够得到最小偏差的w和b的最优解,一般只有非常简单的模型才会有最优解,比较复杂的模型都不会有最优解,只能通过不断的数据训练和参数调整优化模型的准确度

相关推荐
qq_284274053 小时前
机械设计基础·滚动轴承全解(类型·代号·选型·寿命)+轮系与蜗杆蜗轮传动
笔记·学习·自动化·制造
ACP广源盛139246256737 小时前
硬件选型笔记:国产 PCIe Gen2.1 交换芯片 IX6024@ACP,工控与存量设备国产化改造方案评估
笔记·硬件架构·硬件工程·pcie·国产芯片
文人sec8 小时前
SQL基础入门笔记 | 从零基础到掌握核心查询语句
数据库·笔记·sql
摇滚侠10 小时前
《计算机是如何工作的:人人都能懂的计算机软硬件工作原理》第 9 章 机器码与汇编语言 阅读笔记 9
java·开发语言·笔记
kaixin_啊啊10 小时前
【用于更准确 G×E 基因组预测的大规模作物数据集与基于深度学习的多模态融合框架】论文学习
人工智能·深度学习·学习
xier_ran10 小时前
【infra之路】AI 编译器学习笔记(六):重拾 C++——lambda 与 MLIR 中的回调
c++·笔记·学习
志尊宝10 小时前
Vue3 零基础每日笔记(078):首屏加载速度优化汇总——清单化方案
笔记
deepseek2310 小时前
AI 模型隐藏任意能力拆解:把加密神经网络塞进宿主权重,能力评估为什么在密码学上抓不到
人工智能·深度学习·神经网络·密码学·模型安全
Smoothcloud润云10 小时前
PyTorch推理服务模型热切换与失败回滚实战:降低版本更新中断
服务器·人工智能·pytorch·python·深度学习·gpu
lll235269177911 小时前
法律咨询过程中的重要信息如何保存?
深度学习·智能手机