【机器学习】20. RNN - Recurrent Neural Networks 和 LSTM

1. RNN定义

  • 用于顺序数据

  • 文本数据是序列数据的一个例子

  • 句子是单词的序列------一个单词接另一个单词

  • 每个句子可能有不同数量的单词(长度可变)

  • 每个句子之间可能有长距离的依赖关系

  • rnn可以记住序列中较早的相关信息

  • RNN在每个时间点取序列中的1个元素。

  • 神经元在某一个时间点的输出,在下一个时间点(或另一个时间点)反馈给同一神经元

  • 结果:RNN对过去的激活有记忆(因此过去的输入促成了这些激活)

  • RNN可以捕获长距离依赖->对序列有用

2. 简单RNN

简单RNN含有由1个隐藏层构成的前馈神经网络, 这个隐藏层特别的, 含有一个记忆缓存, 会存储隐藏层之前一个时间步的状态. 在每一个时间步, 记忆缓存中的数据会和下一组输入结合作为隐藏层神经元的下一次输入.

  • unroll 图

图片来源:https://blog.csdn.net/v_JULY_v/article/details/89894058

RNN 会受到短时记忆的影响。如果一条序列足够长,那它们将很难将信息从较早的时间步传送到后面的时间步。

在递归神经网络中,获得小梯度更新的层会停止学习------ 那些通常是较早的层。 由于这些层不学习,RNN会忘记它在较长序列中以前看到的内容,因此RNN只具有短时记忆。

在反向传播过程中, 误差梯度会在每个时间步中与w_hh 多次相乘, 如果这些权重过小, 这种多次相乘会导致梯度逐渐变得非常小, 最终几乎消失

而梯度爆炸则是因为计算的难度越来越复杂导致。

LSTM,可以在一定程度上解决梯度消失和梯度爆炸这两个问题

3. LSTM

4张图,直接了解完LSTM

3.1. 忘记门

忘记门会读取上一个输出h_{t-1}和当前输入x_{t},做一个Sigmoid 的非线性映射,然后输出一个向量f_{t}

3.2. 输入门

3.3 细胞状态

3.4. 输出门

C 是细胞状态

相关推荐
音视频牛哥3 分钟前
视觉系统的秩序:从滤波、边缘检测到形态学操作
opencv·机器学习·计算机视觉
二进制星辰3 分钟前
从零理解LeNet:卷积神经网络的起点与启示
深度学习
Poseidon、8 分钟前
2025年10月AI科技领域周报(10.20-10.26):多模态技术突破 具身智能开启机器人新纪元
人工智能·microsoft·机器人
OG one.Z8 分钟前
08_集成学习
人工智能·算法·机器学习
chen36739 分钟前
嵌入式AI Arm_linux_第一个Demo_让IPU跑起来
linux·arm开发·人工智能
CoovallyAIHub25 分钟前
超越传统3D生成:OccScene实现感知与生成的跨任务共赢
深度学习·算法·计算机视觉
Vizio<26 分钟前
《模仿人类皮肤层与环层小体的社交交互机器人皮肤》2024 IEEE/ASME TMECH 论文解读
人工智能·笔记·学习·机器人·交互·触觉传感器
Baihai_IDP27 分钟前
对 GPT 5 模型路由机制的深度解析
人工智能·面试·llm
Mr.H012734 分钟前
克鲁斯卡尔(Kruskal)算法
数据结构·算法·图论
Tisfy35 分钟前
LeetCode 3346.执行操作后元素的最高频率 I:滑动窗口(正好适合本题数据,II再另某他法)
算法·leetcode·题解·滑动窗口·哈希表