【机器学习】20. RNN - Recurrent Neural Networks 和 LSTM

1. RNN定义

  • 用于顺序数据

  • 文本数据是序列数据的一个例子

  • 句子是单词的序列------一个单词接另一个单词

  • 每个句子可能有不同数量的单词(长度可变)

  • 每个句子之间可能有长距离的依赖关系

  • rnn可以记住序列中较早的相关信息

  • RNN在每个时间点取序列中的1个元素。

  • 神经元在某一个时间点的输出,在下一个时间点(或另一个时间点)反馈给同一神经元

  • 结果:RNN对过去的激活有记忆(因此过去的输入促成了这些激活)

  • RNN可以捕获长距离依赖->对序列有用

2. 简单RNN

简单RNN含有由1个隐藏层构成的前馈神经网络, 这个隐藏层特别的, 含有一个记忆缓存, 会存储隐藏层之前一个时间步的状态. 在每一个时间步, 记忆缓存中的数据会和下一组输入结合作为隐藏层神经元的下一次输入.

  • unroll 图

图片来源:https://blog.csdn.net/v_JULY_v/article/details/89894058

RNN 会受到短时记忆的影响。如果一条序列足够长,那它们将很难将信息从较早的时间步传送到后面的时间步。

在递归神经网络中,获得小梯度更新的层会停止学习------ 那些通常是较早的层。 由于这些层不学习,RNN会忘记它在较长序列中以前看到的内容,因此RNN只具有短时记忆。

在反向传播过程中, 误差梯度会在每个时间步中与w_hh 多次相乘, 如果这些权重过小, 这种多次相乘会导致梯度逐渐变得非常小, 最终几乎消失

而梯度爆炸则是因为计算的难度越来越复杂导致。

LSTM,可以在一定程度上解决梯度消失和梯度爆炸这两个问题

3. LSTM

4张图,直接了解完LSTM

3.1. 忘记门

忘记门会读取上一个输出h_{t-1}和当前输入x_{t},做一个Sigmoid 的非线性映射,然后输出一个向量f_{t}

3.2. 输入门

3.3 细胞状态

3.4. 输出门

C 是细胞状态

相关推荐
yzx991013几秒前
关于网络协议
网络·人工智能·python·网络协议
AiTEN_Robot2 分钟前
AGV 无人叉车关键技术问题解析:精准定位算法 / 安全避障逻辑 / 系统对接协议全方案
人工智能·机器人·自动化·制造
云天徽上3 分钟前
【PaddleOCR】OCR常见关键信息抽取数据集,包含FUNSD、XFUND、WildReceipt等整理,持续更新中......
人工智能·计算机视觉·信息可视化·paddlepaddle·paddleocr·文本识别
zskj_zhyl3 分钟前
智绅科技:以科技为翼,构建养老安全守护网
人工智能·科技·安全
刘海东刘海东4 分钟前
结构型智能科技的关键可行性——信息型智能向结构型智能的转换(提纲)
人工智能
martian66526 分钟前
支持向量机(SVM)深度解析:从数学根基到工程实践
算法·机器学习·支持向量机
孟大本事要学习30 分钟前
算法19天|回溯算法:理论基础、组合、组合总和Ⅲ、电话号码的字母组合
算法
Jay Kay1 小时前
TensorFlow源码深度阅读指南
人工智能·python·tensorflow
FF-Studio1 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
会的全对٩(ˊᗜˋ*)و1 小时前
【数据挖掘】数据挖掘综合案例—银行精准营销
人工智能·经验分享·python·数据挖掘