求导 z = x + y

求导 z=x+y\displaystyle z = x + yz=x+y

  • z 对 x 的偏导数:∂z∂x\displaystyle \frac{\partial z}{\partial x}∂x∂z,意思是 x 变 1,z 变多少?答案是 x 加 1,z 就加 1,永远是 1
  • z 对 y 的偏导数:∂z∂y\displaystyle \frac{\partial z}{\partial y}∂y∂z,同理,y 变 1,z 变多少?也是 1

基于链式法则的反向传播

计算图的反向传播从右到左传播信号。反向传播的计算顺序是,先将节点的输入信号乘以节点的局部导数(偏导数),然后再传递给下一个节点。
∂L∂x=∂L∂z×∂z∂x=∂L∂z×1=∂L∂z \displaystyle \frac{\partial L}{\partial x} = \frac{\partial L}{\partial z} \times \frac{\partial z}{\partial x} = \frac{\partial L}{\partial z} \times 1= \frac{\partial L}{\partial z}∂x∂L=∂z∂L×∂x∂z=∂z∂L×1=∂z∂L
∂L∂y=∂L∂z×∂z∂y=∂L∂z×1=∂L∂z \displaystyle \frac{\partial L}{\partial y} = \frac{\partial L}{\partial z} \times \frac{\partial z}{\partial y} = \frac{\partial L}{\partial z} \times 1= \frac{\partial L}{\partial z}∂y∂L=∂z∂L×∂y∂z=∂z∂L×1=∂z∂L

假定了一个最终输出值为L ,不管 x 和 y 是多少,L 对它们的导数,就等于上游传过来的 L 对 z 的导数!

因为乘了个 1,等于没乘!加法节点的反向传播只是将输入信号输出到下一个节点。

假设有"10 + 5=15"这一计算,反向传播时,假设 从上游会传来值1.3。反向传播将1.3向下一个节点传递。

相关推荐
sanxing三省2 分钟前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫1 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT1 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)1 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
oil欧哟1 小时前
AI Agent Skill 入门指南:文件夹本质、渐进式加载与挑选方法
人工智能·ai编程
百度Geek说2 小时前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能
Baihai_IDP2 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
挖掘狂人2 小时前
AI 三分钟写完的代码,你凭什么敢直接上线?
人工智能·程序员·ai编程
墨林陌2 小时前
AI 热点日报(2026-11-20):苹果自研 AI 智能体曝光,Anthropic 上市首日大涨,智能体支付落地
人工智能