自动微分模块

多元线性回归是 y=wx+b,x一般充当特征、z充当预测值(相当于上面公式里的y),z如何来的?:x * w + b,得到的是预测值 z,预测值下面会有一个与之对应的 y真实值,想要描述预测值 z和真实值y 之间的关系用 loss损失函数,为了让损失最小,需要求导:之前做求导需要手动计算,现在可以通过自动微分 帮忙求导,算出导数,再反向把值传到下框中,用来更新 w和 b;
为什么叫反向传播 ?:因为从 x - -> w 乘 、b加 - -> 拿到预测值z、结合真实值y - -> 得到损失函数;(绿色标注的、从左往右一直到计算出损失函数的过程叫正向传播),拿到损失函数进行求导,求导的目的是为了让损失最小,所以会将求导结果带入到下框 更新 w和b,更新完 w和b后,再次进行下一轮的正向传播,又可以得到新的预测值,再结合真实值再次计算损失,这个损失值肯定是会一次次降低的,算完后拿着导数(梯度)再次更新 w和b参数,更新完后第二轮传播结束;

第三轮拿着更新后的 w和b,与x一起再次计算预测值,预测值与真实值一起再计算损失求导,拿到导数再次更新 w和b...

所以从前往后叫正向,求导后拿着导数反向更新 w和b的值的动作叫做 BP算法**(Back Propagation 反向传播)**;

相关推荐
刹那芳华19921 天前
循环神经网络的从零开始实现(RNN)
人工智能·rnn·深度学习
DogDaoDao1 天前
DeepQTMT: 深度学习加速VVC帧内编码CU划分 —— 论文深度解读与源码拆解
人工智能·深度学习·视频编解码·h266·vvc·帧内预测·deepqtmt
wyg_0311131 天前
从0搭建极简transformer大模型
人工智能·深度学习·transformer
卡梅德生物科技小能手1 天前
卡梅德生物科普|TSLP(胸腺基质淋巴细胞生成素)靶点研究概述
经验分享·深度学习·生活
lancyu1 天前
零基础AI应用编程开发入门 | 吴恩达Prompt工程极简通关指南:新手从零学会工业级提示词开发(可直接复用代码)
人工智能·深度学习·机器学习
LaughingZhu1 天前
Product Hunt 每日热榜 | 2026-08-03
人工智能·经验分享·深度学习·神经网络·产品运营
惊鸿一博1 天前
自动驾驶端到端训练_开环训练vs闭环训练
人工智能·深度学习·端到端
湘美书院--湘美谈教育2 天前
AI时代的奥德赛:算法星空,寻找精神归航
大数据·人工智能·深度学习·机器学习·生活
搞科研的小刘选手2 天前
【昌吉学院主办】第三届大数据、神经网络与深度学习研讨会(BDNNDL 2026)
大数据·深度学习·神经网络·学术会议·会议推荐
FriendshipT2 天前
Ubuntu 20.04 下使用 Ollama 本地部署 AI 大模型
linux·人工智能·python·深度学习·ubuntu