双向RNN,深层RNN(吴恩达深度学习笔记)

目录

1.双向RNN(BRNN)

(1)简介

(2)例子

(3)缺点

2.深层RNN(DRNN)


1.双向RNN(BRNN)
(1)简介
  • 双向RNN模型(bidirectional RNN),它可以让你在序列的某点处不仅可以获取之前的信息,还可以获取未来的信息
(2)例子
  • 回顾命名实体识别的例子,在判断第三个单词Teddy是不是人名的一部分时,我们只看了前三个单词,除了这些信息我们还需要更多的信息。因为根据前3个单词无法判断他们说的是Teddy熊,还是前美国总统Teddy Roosevelt。

  • 在之前,我们RNN都是前向的,如何构成双向的RNN呢?

  • 如上图,我们添加一层反向循环层(绿色标记)。给定一个输入序列x<1>到x<4>:

  • 序列先计算前向a<1>,a<2>,a<3>,a<4>,正向传播

  • 然后在反向计算a<4>,a<3>,a<2>,a<1>,这也是正向传播

  • 然后计算y: 使用双向的激活值计算

  • 这就是双向循环神经网络,并且这些基本单元不仅仅是标准RNN单元,也可以是GRU单元或者LSTM单元。

(3)缺点
  • 双向RNN网络模型的缺点就是你需要完整的数据的序列 才能预测任意位置。比如构建一个语音识别系统,那么双向RNN模型需要考虑整个语音表达,你需要等待这个人说完,然后获取整个语音表达才能处理这段语音,并进一步做语音识别。对于实际的语音识别的应用通常会有更加复杂的模块(somewhat more complex modules),而不是仅仅用我们标准的双向RNN模型。
2.深层RNN(DRNN)
  • 通常我们会把RNN的多个层堆叠在一起构建更深的模型,来构建一些更深的RNN。
  • 这里的堆叠隐含层的堆叠,如下图
  • 如上图紫色标记,看这个激活值a2<3>是怎么计算的,一共有两个输入:一个是下面过来的输入a1<3>,一个是左边过来的输入a2<2>,于是计算公式为:
  • 对于左侧这样标准的神经网络,有很深的网络,甚至于100层深,而对于RNN来说,有三层就已经不少了。由于时间的维度,RNN网络会变得相当大,即使只有很少的几层,很少会看到这种网络堆叠到100层。
相关推荐
chh5639 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
yiangL_12 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
人生!?14 小时前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
汤姆宝库17 小时前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi18 小时前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
β添砖java19 小时前
Transformer大白话学习笔记
笔记·学习·transformer
AI小怪兽19 小时前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
希和202720 小时前
代码小白笔记:蓝桥杯彩灯控制代码逐段讲解
笔记·mongodb·蓝桥杯
希和202720 小时前
江科大 51 单片机课程笔记:XPT2046 触摸/AD 采集与 LCD1602 显示
笔记·单片机·mongodb