6.循环神经网络
文章目录
- 6.循环神经网络
-
- [6.1 给神经网络增加记忆能力](#6.1 给神经网络增加记忆能力)
- [6.2 循环神经网络](#6.2 循环神经网络)
- [6.3 应用到机器学习](#6.3 应用到机器学习)
- [6.4 参数学习](#6.4 参数学习)
- [6.5 如何解决长程依赖问题](#6.5 如何解决长程依赖问题)
- [6.6 GRU 和 LSTM](#6.6 GRU 和 LSTM)
- [6.7 深层循环神经网络](#6.7 深层循环神经网络)
- [6.8 应用](#6.8 应用)
- [6.9 扩展到图结构](#6.9 扩展到图结构)
6.1 给神经网络增加记忆能力
6.2 循环神经网络
6.3 应用到机器学习
s是单个词的意思，b是一个词的开始，e是一个词的结束
没有结果产生的部分就是编码部分，有结果产生的部分就是解码部分
这是之前说的自回归模型
6.4 参数学习
会让第t个时刻的时候收不到关于第k个时刻的损失对地t个时刻的影响 原因就是梯度爆炸或者梯度消失
6.5 如何解决长程依赖问题
让上图的伽马=1即可，但是这个条件很强，很难达到
6.6 GRU 和 LSTM
ft是遗忘门，说的是我们这次应该忘记多少信息
6.7 深层循环神经网络
就是多叠了几层
6.8 应用
6.9 扩展到图结构
