李沐深度学习笔记D3-线性回归

举例:在美国买房子

网站上有房东设置的售价Price,有网站给的估价Redfin Estimate,用户需要自己评估未来房子值多少钱,对应给出自己的出价,那么我们以时间为轴,对房价进行评估的方法,就可以使用所谓的线性回归算法进行预测,这也是一个最简单的线性回归的例子

简化模型

假设1:影响房价的关键因素是:卧室的个数、卫生间个数、房屋的居住面积,记为x1,x2,x3

假设2:成交价是关键因素的加权和

y=w1x1+w2x2+w3x3+b (w1、w2、w3 是权重)

我们就可以把这种线性模型看成是一种单层的神经网络

输出的值o1由多个不同权重的元素x影响,高度为1层,所以认为是单层的神经网络

什么是神经网络

神经网络来源于神经科学

举例两个真实的神经元之间的通信,首先一个负责感知的神经元,它的神经末梢感知不同神经信号或者元素,将其输入到神经元中心进行计算,并将计算的结果进行输出,通过连接推送给下一个神经元,在连接中也会有一些判断和识别,比如达到某种阈值才能通过传输;

这是传统的神经科学,人们通过神经科学的发展,也逐步想到能否我们自己造一个人工的神经元,通过对不同元素进行不同权重的计算,获取到我们想要的结果,这就是神经网络的诞生原因

回归正题,我们如何判断模型是否准确呢

比较真实值和预估值

一个新名词:平方损失

计算逻辑:平方损失= 1/2 (真实值-预估值)的平方

用来衡量如果我们的模型没有猜中真实值所带来的损失

有了模型,有了偏差计算,下一步我们要训练数据

需要收集一些已有或者历史的数据进行模型的训练,比如收集最近一年卖出的房子数据进行训练,训练的数据理论上越多越好,因为我们可以根据结果和实际的数据的偏差比如平方损失对模型进行调优,所以数据越多模型越准确

举例过去一年卖出的房子的数据,x1-xn为每个房子不同元素的参数值,y1-yn为实际价格,那么我们的训练损失为这样一个模型

从左到右解读为:训练房子的价值对于不同参数x关于不同权重w以及偏差b的训练损失的平均值,等于1/2乘以1/n(平均值)乘以(从第一个房子开始一直到第i个房子的(房子的实际价值 - 我们根据元素x和权重w计算得出的预估价值 - 偏差值b)的平方的和),对应上面的平方损失公式,其实就是数据集的平方损失

我们的目标就是使训练损失尽量小,那么就是寻找一个权重w和偏差b的组合,使训练损失最小

总结

只有线性回归模型有显示解,什么是显示解,就是通过模型能够得到最小偏差的w和b的最优解,一般只有非常简单的模型才会有最优解,比较复杂的模型都不会有最优解,只能通过不断的数据训练和参数调整优化模型的准确度

相关推荐
Yunzenn2 分钟前
深度解析字节前沿研究-Cola DLM第 04 章:Cola DLM 架构全景 —— 三层解耦的设计哲学
java·linux·python·深度学习·面试·github·transformer
patrickpdx5 分钟前
2019年中国国家队选拔赛第17题
笔记
冬奇Lab7 分钟前
每日一个开源项目 #110:ai-engineering-from-scratch - 从零构建 AI 工程全栈能力
人工智能·深度学习·llm
ujainu11 分钟前
CANN pto-isa:Transformer 推理编译链路:从 PyTorch 到昇腾 NPU 执行
pytorch·深度学习·transformer·ascend
一切皆是因缘际会15 分钟前
AI 从 “模仿智能” 到 “重构世界” 的范式跃迁
大数据·人工智能·深度学习·重构·架构
生成论实验室21 分钟前
Token即事件:Transformer为何是“事件-关系网络”的最佳实现——兼论大语言模型如何从“概率鹦鹉”进化为“认知主体”
人工智能·深度学习·语言模型·agi·安全架构
5201-28 分钟前
RAG 推理管线:检索增强生成的完整流程
深度学习
嫣然细雨红尘路31 分钟前
LangChain学习笔记(一)
笔记·学习·langchain
被遗忘的旋律.33 分钟前
RK3588笔记(一)——ping通 + imx6ull项目移植
笔记
Brilliantwxx33 分钟前
【C++】 认识STL set与map(基础接口+题目OJ运用)
开发语言·数据结构·c++·笔记·算法