长短期记忆网络LSTM

视频链接

1.LSTM与RNN的区别

RNN想把所有信息都记住,不管是有用的信息还是没用的信息,并且有梯度爆炸或者梯度消失的问题

而LSTM设计了一个记忆细胞,具备选择记忆功能,可以选择记忆重要信息,过滤掉噪声信息,减轻记忆负担。

2. 前向传播的过程

2.1对比RNN

2.2 单元结构

符号解释:
C t − 1 C_{t-1} Ct−1表示t-1时刻的记忆细胞
h t − 1 h_{t-1} ht−1表示t-1时刻的隐藏层状态
s i g m o i d sigmoid sigmoid门单元
f t f_t ft遗忘门
i t i_t it更新门
o t o_t ot输出门
在LSTM的每个时间步里面,都有一个记忆cell,这个东西给予了LSTM选择记忆功能,使得LSTM有能力自由选择每个时间步里面记忆的内容

2.3 结合例子理解LSTM单元结构

场景:期末考试周(高数→线性代数)

输入 X t X_t Xt:线性代数

输出 h t h_t ht:高分

遗忘门:遗忘高数积累的记忆 C t − 1 C_{t-1} Ct−1

更新门:选择性的提取有用的线性代数知识,然后结合高数保留下来的数学运算能力

输出门:把没考的知识丢掉
t a n h tanh tanh:把记忆的知识 C t C_t Ct转为答题解题的能力

4. LSTM如何缓解梯度消失

4.1 RNN梯度消失回顾

4.2LSTM反向传播

假设: t = 3 t=3 t=3,即从左到右的输出分别是 y 1 y_1 y1、 y 2 y_2 y2、 y 3 y_3 y3







相关推荐
呉師傅1 小时前
佳能iR-ADV C5560复印机如何扫描文件到电脑
运维·网络·windows·计算机外设·电脑
半梦半醒*2 小时前
Linux网络管理
linux·运维·网络·centos·运维开发
神秘人X7072 小时前
Linux网络配置全攻略:IP、路由与双机通信
linux·网络·tcp/ip
hhh123987_2 小时前
以太网基础⑥ ZYNQ PS端 基于LWIP的TCP例程测试
网络·网络协议·tcp/ip
Lfsd2 小时前
根据ip获取地址库
网络·网络协议·tcp/ip
shenghaide_jiahu2 小时前
数学建模——线性规划类题目(运筹优化类)
线性代数·数学建模
程序员编程指南4 小时前
Qt 网络编程进阶:RESTful API 调用
c语言·网络·c++·qt·restful
香蕉割草机5 小时前
高性能网络DPDK、RDMA、XDP初探
网络
程序员编程指南6 小时前
Qt 网络编程进阶:网络安全与加密
c语言·网络·c++·qt·web安全
未来之窗软件服务6 小时前
基于 Nginx 与未来之窗防火墙构建下一代自建动态网络防护体系—仙盟创梦IDE
网络·ide·nginx·服务器安全·仙盟创梦ide·东方仙盟