深入理解RNN

[人工智能-深度学习-47]:卷积神经网CNN+循环神经网络RNN与组合电路+时序电路的比较
[人工智能-深度学习-51]:循环神经网络 - RNN基本原理详解

组合逻辑电路

组合逻辑电路在逻辑功能上的特点是任意时刻的输出仅仅取决于该时刻的输入,与电路原来或当前的状态无关。常见的与、或、非、亦或电路就是组合电路。给定的输入,一定是给定的输出,与电路的当前状态无关,即与"时间"无关。

时序逻辑电路

大多数数字电路系统,除了包含组合电路,还包括存储元件(本质区别) ,我们将这样的系统描述为时序电路。

时序逻辑电路在逻辑功能上的特点是:任意时刻的输出不仅取决于当时的输入信号,而且还取决于电路原来的状态,或者说,还与以前的输入有关。

RNN理解:

  • 之前的误区:
    1.本质上,输入层不用画神经元。因为他们是"固定的"(维度上),或者说他们没有什么讨论的必要性。只有hidden layer能称之为神经元,hidden layer的数量,代表了你要把上一层数据通过线性代数转成几维,这个是可以讨论的。
    所以RNN中的隐藏层,他的维度,和输入无关,输入就是你数据的特征维度。那么隐藏层你想是几个神经元无所谓的。
    2.以文本为例子,由于你想让网络学习到上下文信息这个任务,所以你每次喂给网络的只能是一个单词的词向量。比如文本:"I love you",就 是一个序列,由三个单词组成,不管单词由多少个字母组成,每个单词被编码成一个长度=2的向量。那么RNN所说的t,在这个特定的任务中,就成了上下文的顺序这个信息,其实本身时间也是为了描述当前状态下的隐藏层和前一状态是相关的。
    3.为什么要引入T维度?
    这张图已经反映了几个事情:
    1、输入输出本身和隐藏层的neuron数量n无关
    2、隐藏层Wh=n*n

当RNN只有一个神经元时,即最简单的one-to-one:youtube上的视频教学,理解是对的,当前的hidden层(别管有几个神经元)一对一的传给下一个状态。和时序逻辑电路一样的思路。

​​

而他的缺点就是:RNN网络不能并行的处理序列输入 ,一次只能处理一个序列中的一个单元(如单词),如"I love china"这个序列,RNN网络一次只能处理一个单词,无法并行的处理整句话(多个单词组成的序列)

加上T这个维度之后:我们之前是用T个时刻给他输入X,现在是用一个时刻输入[X0,X1,...XT]这样可以使WX+B这个过程并行化

但是X0------X1内部的hidden层的状态转移是由RNN自己做的,我们现在只需要保证 XT------>XT+1这个过程的hidden层转移即可。

相关推荐
旧故新长1 分钟前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI14 分钟前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆25 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤28 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创30 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao41 分钟前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子1 小时前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人1 小时前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者1 小时前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能
__Benco1 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(十),魔法键使用方法,用户态异常信息说明
人工智能·harmonyos