循环神经网络RNN笔记

《动手学深度学习》-RNN

0 引言

默认数据都来自于某种分布, 并且所有样本都是独立同分布的 (independently and identically distributed,i.i.d.)。 然而,大多数的数据并非如此。 例如,文章中的单词是按顺序写的,如果顺序被随机地重排,就很难理解文章原始的意思。 同样,视频中的图像帧、对话中的音频信号以及网站上的浏览行为都是有顺序的。 因此,针对此类数据而设计特定模型,可能效果会更好。

另一个问题来自这样一个事实: 我们不仅仅可以接收一个序列作为输入,而是还可能期望继续猜测这个序列的后续。 例如,一个任务可以是继续预测

。 这在时间序列分析中是相当常见的,可以用来预测股市的波动、 患者的体温曲线或者赛车所需的加速度。 同理,我们需要能够处理这些数据的特定模型。

如果说卷积神经网络可以有效地处理空间信息, 那么本章的循环神经网络(recurrent neural network,RNN)则可以更好地处理序列信息。 循环神经网络通过引入状态变量存储过去的信息和当前的输入,从而可以确定当前的输出。

卷积 神经网络可以有效地处理空间 信息,
循环 神经网络则可以更好地处理序列 信息。

(recurrent neural network,RNN)

循环神经网络通过引入状态变量存储过去的信息和当前的输入,从而可以确定当前的输出。

1 序列模型

预测明天的股价要比过去的股价更困难, 在统计学中,前者(对超出已知观测范围进行预测)称为外推法(extrapolation), 而后者(在现有观测值之间进行估计)称为内插法(interpolation)。

公式: x t ∼ P ( x t ∣ x t − 1 , ... , x 1 ) x_t \sim P(x_t \mid x_{t-1}, \ldots, x_1) xt∼P(xt∣xt−1,...,x1)

如何有效估计 P ( x t ∣ x t − 1 , ... , x 1 ) P(x_t \mid x_{t-1}, \ldots, x_1) P(xt∣xt−1,...,x1),归结为 自回归模型(autoregressive models)和 隐变量自回归模型(latent autoregressive models)两种策略。

数据存在一个自然的方向,即在时间上是前进的。 很明显,未来的事件不能影响过去。

P ( x t + 1 ∣ x t , x t − 1 ) = P ( x t + 1 ∣ x t ) P(x_{t+1} \mid x_t, x_{t-1}) = P(x_{t+1} \mid x_t) P(xt+1∣xt,xt−1)=P(xt+1∣xt)

隐马尔可夫模型中的动态规划超出了本节的范围 (我们将在双向循环神经网络再次遇到), 而动态规划这些计算工具已经在控制算法和强化学习算法广泛使用。

越多步的预测,会造成误差的快速累积和预测质量的极速下降。

"通过时间反向传播"仅仅适用于反向传播在具有隐状态的序列模型。

2 GRU

门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。

重置门有助于捕获序列中的短期依赖关系。

更新门有助于捕获序列中的长期依赖关系。

重置门打开时,门控循环单元包含基本循环神经网络;更新门打开时,门控循环单元可以跳过子序列。

3 LSTM

长短期记忆网络有三种类型的门:输入门、遗忘门和输出门。

长短期记忆网络的隐藏层输出包括"隐状态"和"记忆元"。只有隐状态会传递到输出层,而记忆元完全属于内部信息。

长短期记忆网络可以缓解梯度消失和梯度爆炸。

4 深度RNN

可以将多层循环神经网络堆叠在一起, 通过对几个简单层的组合,产生了一个灵活的机制。 特别是,数据可能与不同层的堆叠有关。 例如,我们可能希望保持有关金融市场状况 (熊市或牛市)的宏观数据可用, 而微观数据只记录较短期的时间动态。

在深度循环神经网络中,隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步。

深度循环神经网络需要大量的调参(如学习率和修剪) 来确保合适的收敛,模型的初始化也需要谨慎。

5 编码器-解码器架构

6 序列到序列学习(seq2seq)

7 序列搜索

序列搜索策略包括贪心搜索、穷举搜索和束搜索。

贪心搜索所选取序列的计算量最小,但精度相对较低。

穷举搜索所选取序列的精度最高,但计算量最大。

束搜索通过灵活选择束宽,在正确率和计算代价之间进行权衡。

相关推荐
青松@FasterAI37 分钟前
【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)
人工智能·自然语言处理
AIGC大时代1 小时前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 小时前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
偶尔微微一笑1 小时前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼1 小时前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数2 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin2 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉
我的golang之路果然有问题2 小时前
速成GO访问sql,个人笔记
经验分享·笔记·后端·sql·golang·go·database
lwewan2 小时前
26考研——存储系统(3)
c语言·笔记·考研
Sherlock Ma2 小时前
PDFMathTranslate:基于LLM的PDF文档翻译及双语对照的工具【使用教程】
人工智能·pytorch·语言模型·pdf·大模型·机器翻译·deepseek