长短期记忆网络LSTM

视频链接

1.LSTM与RNN的区别

RNN想把所有信息都记住,不管是有用的信息还是没用的信息,并且有梯度爆炸或者梯度消失的问题

而LSTM设计了一个记忆细胞,具备选择记忆功能,可以选择记忆重要信息,过滤掉噪声信息,减轻记忆负担。

2. 前向传播的过程

2.1对比RNN

2.2 单元结构

符号解释:
C t − 1 C_{t-1} Ct−1表示t-1时刻的记忆细胞
h t − 1 h_{t-1} ht−1表示t-1时刻的隐藏层状态
s i g m o i d sigmoid sigmoid门单元
f t f_t ft遗忘门
i t i_t it更新门
o t o_t ot输出门
在LSTM的每个时间步里面,都有一个记忆cell,这个东西给予了LSTM选择记忆功能,使得LSTM有能力自由选择每个时间步里面记忆的内容

2.3 结合例子理解LSTM单元结构

场景:期末考试周(高数→线性代数)

输入 X t X_t Xt:线性代数

输出 h t h_t ht:高分

遗忘门:遗忘高数积累的记忆 C t − 1 C_{t-1} Ct−1

更新门:选择性的提取有用的线性代数知识,然后结合高数保留下来的数学运算能力

输出门:把没考的知识丢掉
t a n h tanh tanh:把记忆的知识 C t C_t Ct转为答题解题的能力

4. LSTM如何缓解梯度消失

4.1 RNN梯度消失回顾

4.2LSTM反向传播

假设: t = 3 t=3 t=3,即从左到右的输出分别是 y 1 y_1 y1、 y 2 y_2 y2、 y 3 y_3 y3







相关推荐
大丈夫立于天地间13 小时前
ISIS协议中的数据库同步
运维·网络·信息与通信
Dream Algorithm13 小时前
路由器的 WAN(广域网)口 和 LAN(局域网)口
网络·智能路由器
IT猿手13 小时前
基于CNN-LSTM的深度Q网络(Deep Q-Network,DQN)求解移动机器人路径规划,MATLAB代码
网络·cnn·lstm
吴盐煮_13 小时前
使用UDP建立连接,会存在什么问题?
网络·网络协议·udp
hyshhhh14 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
Hellc00714 小时前
轮询、WebSocket 和 SSE:实时通信技术全面指南(含C#实现)
网络
xujiangyan_15 小时前
nginx的反向代理和负载均衡
服务器·网络·nginx
GalaxyPokemon15 小时前
Muduo网络库实现 [十] - EventLoopThreadPool模块
linux·服务器·网络·c++
忆源16 小时前
SOME/IP-SD -- 协议英文原文讲解9(ERROR处理)
网络·网络协议·tcp/ip