自动微分模块

多元线性回归是 y=wx+b,x一般充当特征、z充当预测值(相当于上面公式里的y),z如何来的?:x * w + b,得到的是预测值 z,预测值下面会有一个与之对应的 y真实值,想要描述预测值 z和真实值y 之间的关系用 loss损失函数,为了让损失最小,需要求导:之前做求导需要手动计算,现在可以通过自动微分 帮忙求导,算出导数,再反向把值传到下框中,用来更新 w和 b;
为什么叫反向传播 ?:因为从 x - -> w 乘 、b加 - -> 拿到预测值z、结合真实值y - -> 得到损失函数;(绿色标注的、从左往右一直到计算出损失函数的过程叫正向传播),拿到损失函数进行求导,求导的目的是为了让损失最小,所以会将求导结果带入到下框 更新 w和b,更新完 w和b后,再次进行下一轮的正向传播,又可以得到新的预测值,再结合真实值再次计算损失,这个损失值肯定是会一次次降低的,算完后拿着导数(梯度)再次更新 w和b参数,更新完后第二轮传播结束;

第三轮拿着更新后的 w和b,与x一起再次计算预测值,预测值与真实值一起再计算损失求导,拿到导数再次更新 w和b...

所以从前往后叫正向,求导后拿着导数反向更新 w和b的值的动作叫做 BP算法**(Back Propagation 反向传播)**;

相关推荐
玩转单片机与嵌入式6 小时前
深入浅出TinyML 16:FFT、频带能量和MFCC分别适合什么任务?
stm32·深度学习·tinyml
熊猫钓鱼>_>10 小时前
鸿蒙ArkUI全手势操作实战指南:6大基础手势从原理到落地避坑
人工智能·深度学习·华为·架构·harmonyos·arkui·tapgesture
小小帅呀11 小时前
学习 VLA 第 2 天:深度学习基础
人工智能·深度学习·学习
xwz小王子13 小时前
Nature Sensors封面:清华“天眸芯”,类脑互补视觉范式重塑AI感知世界的方式
人工智能·深度学习·机器学习
selia107815 小时前
AI手撕代码笔记
人工智能·笔记·深度学习
薛定e的猫咪15 小时前
(arXiv 2026)GLiBRL :可学习基函数的深度贝叶斯元强化学习 ----待补充
人工智能·深度学习·学习·算法·机器学习
躺柒15 小时前
读数据可视化13空间标量场(上)
人工智能·深度学习·信息可视化·数据可视化·空间·大数据分析
CIO_Alliance16 小时前
AI深度系列(3)| 从RNN到LSTM:序列数据处理的技术逻辑与企业AI化转型启示
人工智能·rnn·深度学习·神经网络·lstm·企业cio联盟·企业级ai化转型
古城小栈16 小时前
QLoRA 训练参数 专题
人工智能·深度学习·机器学习
苏子寒17 小时前
Nano-VLLM全代码解析笔记(8)-qwen3与qwen3_moe
笔记·python·深度学习·ai·性能优化·vllm