LSTM反向传播及公式推导

先回顾一下正向传播的公式:

化简一下:

反向传播从下到上逐步求偏导:

对zt求偏导(预测值和标签值相减):

zt对未知数wt,ht,bt分别求偏导:

ht对ot,Ct求偏导:

ot对Net0求偏导:

Net0对w0,b0求偏导:

....

总体的思路就是那个公式从下到上逐步对未知数求偏导:

下面是总体的流程

对应的代码为:

相关推荐
仙魁XAN14 分钟前
【WorkBuddy·基础入门】第 四 篇 :模式、技能、专家、连接器一次讲清
人工智能·workbuddy·workbuddy 基础入门·workbuddy 工具
呆萌很18 分钟前
torch.nan_to_num 函数
人工智能
2601_9583529021 分钟前
还要写 AEC 算法?0 代码 + 6 个引脚,F-18 让通话清晰度提升 300%
人工智能·算法·降噪消回音
千里码aicood29 分钟前
基于机器学习的雷达低慢小目标识别技术的研究
人工智能·机器学习
llilian_1632 分钟前
标准时间间隔发生器应用解决方案 脉冲发生器 时间测量仪
大数据·网络·人工智能·功能测试·单片机·嵌入式硬件·51单片机
世岩清上38 分钟前
展厅数字内容同质化严重,怎样打造专属叙事风格?
大数据·前端·javascript·人工智能·html·音视频·展厅改造
幻影123!40 分钟前
AlphaZero 五子棋实战(一):单卡从零自举,我的v36 最终版配置
人工智能·强化学习·马尔科夫·决策过程
固定资产管理系统软件42 分钟前
该去哪里找专业靠谱的智慧智能设备固定资产管理系统?
人工智能·python
具身AGI1 小时前
线缆绳索怎么操控,物理AI 物理推理 的新解法
人工智能
广州山泉婚姻1 小时前
列表初始化:C++11全新初始化体系
c++·人工智能