LSTM反向传播及公式推导

先回顾一下正向传播的公式:

化简一下:

反向传播从下到上逐步求偏导:

对zt求偏导(预测值和标签值相减):

zt对未知数wt,ht,bt分别求偏导:

ht对ot,Ct求偏导:

ot对Net0求偏导:

Net0对w0,b0求偏导:

....

总体的思路就是那个公式从下到上逐步对未知数求偏导:

下面是总体的流程

对应的代码为:

相关推荐
h64648564h16 分钟前
CANN 性能剖析与调优全指南:从 Profiling 到 Kernel 级优化
人工智能·深度学习
数据与后端架构提升之路17 分钟前
论系统安全架构设计及其应用(基于AI大模型项目)
人工智能·安全·系统安全
忆~遂愿21 分钟前
ops-cv 算子库深度解析:面向视觉任务的硬件优化与数据布局(NCHW/NHWC)策略
java·大数据·linux·人工智能
Liue6123123125 分钟前
YOLO11-C3k2-MBRConv3改进提升金属表面缺陷检测与分类性能_焊接裂纹气孔飞溅物焊接线识别
人工智能·分类·数据挖掘
一切尽在,你来33 分钟前
第二章 预告内容
人工智能·langchain·ai编程
23遇见37 分钟前
基于 CANN 框架的 AI 加速:ops-nn 仓库的关键技术解读
人工智能
Codebee1 小时前
OoderAgent 企业版 2.0 发布的意义:一次生态战略的全面升级
人工智能
光泽雨1 小时前
检测阈值 匹配阈值分析 金字塔
图像处理·人工智能·计算机视觉·机器视觉·smart3
Σίσυφος19001 小时前
PCL 法向量估计-PCA邻域点(经典 kNN 协方差)的协方差矩阵
人工智能·线性代数·矩阵
小鸡吃米…2 小时前
机器学习的商业化变现
人工智能·机器学习