LSTM和GRU vs 普通的循环神经网络RNN

1、考虑下列三种情况下,对比一下普通RNN的表现和LSTM和GRU表现:

(1)早期观测值对预测未来观测者具有非常重要的意义。

考虑一个极端情况,其中第一个观测值包含一个校验和, 目标是在序列的末尾辨别校验和是否正确。 在这种情况下,第一个词元的影响至关重要。

RNN的表现:将不得不给这个观测值指定一个非常大的梯度, 因为它会影响所有后续的观测值。

LSTM和GRU的表现:提供某些机制能够在一个记忆元里存储重要的早期信息。

(2) 一些词元没有相关的观测值。

例如,在对网页内容进行情感分析时, 可能有一些辅助HTML代码与网页传达的情绪无关。

RNN的表现 :没有机制来跳过隐状态表示中的此类词元。

LSTM和GRU的表现 :有一些机制来跳过隐状态表示中的此类词元。

(3)序列的各个部分之间存在逻辑中断。

例如,书的章节之间可能会有过渡存在, 或者证券的熊市和牛市之间可能会有过渡存在。

RNN的表现 :在这种情况下,没有办法来重置我们的内部状态表示。

LSTM和GRU的表现 :在这种情况下,有一法来重置我们的内部状态表示。

2、LSTM和GRU能力相对占优的原理和机制

(1)GRU

支持隐状态的门控。 这意味着模型有专门的机制来确定应该何时更新隐状态, 以及应该何时重置隐状态。 这些机制是可学习的,并且能够解决了上面列出的问题。 例如,如果第一个词元非常重要, 模型将学会在第一次观测之后不更新隐状态。 同样,模型也可以学会跳过不相关的临时观测。 最后,模型还将学会在需要的时候重置隐状态。

下面具体讨论各类门控的作用。

重置门有助于捕获序列中的短期依赖关系。

更新门有助于捕获序列中的长期依赖关系。

重置门的数学表达式:

对于给定的时间步,假设输入是一个小批量(样本数,输入数),前一个时间步的隐状态是(隐藏单元数)。

那么,重置门和更新门的计算方式如下所示:

其中,是权重参数,是偏置参数。表示sigmoid函数,将输入值转换到区间(0,1)内。

将重置门与常规隐状态更新机制集成,得到时间步的候选隐状态

候选隐状态结合更新门,形成新的隐状态

每当更新门接近1时,模型就倾向只保留旧状态。 此时,来自的信息基本上被忽略, 从而有效地跳过了依赖链条中的时间步。 相反,当接近0时, 新的隐状态就会接近候选隐状态。 这些设计可以帮助我们处理循环神经网络中的梯度消失问题, 并更好地捕获时间步距离很长的序列的依赖关系。 例如,如果整个子序列的所有时间步的更新门都接近于1, 则无论序列的长度如何,在序列起始时间步的旧隐状态都将很容易保留并传递到序列结束。

相关推荐
.30-06Springfield19 小时前
利用人名语言分类案例演示RNN、LSTM和GRU的区别(基于PyTorch)
人工智能·pytorch·python·rnn·分类·gru·lstm
suixinm10 天前
LSTM、GRU 与 Transformer网络模型参数计算
gru·lstm·transformer
是纯一呀11 天前
融合LSTM与自注意力机制的多步光伏功率预测新模型解析
人工智能·lstm·transformer·预测
珺毅同学11 天前
ubuntu24.04+5090显卡驱动安装踩坑
linux·ubuntu·gru
AI扶我青云志11 天前
ANN、CNN、RNN 深度解析
rnn·深度学习·cnn
野生的程序媛11 天前
第三章 卷积神经网络
人工智能·rnn·深度学习·神经网络·机器学习·语言模型·cnn
weixin_5079299111 天前
R4 LSTM-火灾温度预测
人工智能·lstm
boooo_hhh13 天前
第32周———Tensorflow|LSTM-火灾温度预测
人工智能·tensorflow·lstm
suixinm14 天前
Word2Vec介绍
rnn·深度学习·机器翻译
深度学习_乌冬面15 天前
RNN为什么不适合大语言模型
人工智能·rnn·语言模型