图解循环神经网络(RNN)

目录

1.循环神经网络介绍

2.网络结构

3.结构分类

4.模型工作原理

5.模型工作示例

6.总结


1.循环神经网络介绍

RNN(Recurrent Neural Network,循环神经网络)是一种专门用于处理序列数据的神经网络结构。与传统的神经网络不同,RNN具有记忆能力,能够捕捉序列数据中的时间依赖关系。

也就是说相比其他仅靠输入单一预测结果的神经网络,循环神经网络可以考虑前面输入的多个因素。比如现在流行的语言模型,他能记住你前面输入的内容,当你新输入某一个问题时候,他会去寻找是否和你前面输入的问题有联系。

2.网络结构

RNN的基本结构包括输入层、隐藏层和输出层。在每个时间步,RNN都会接收当前的输入数据(如一个词的嵌入表示)和前一个时间步的隐藏状态,然后生成一个新的隐藏状态和输出。这个新的隐藏状态不仅包含了当前时间步的信息,还融合了之前所有时间步的信息,因此RNN能够捕捉到序列数据中的上下文信息。

具体来说,RNN的隐藏状态是记忆部分,它在每个时间步都会被更新。隐藏状态的计算通常包括将当前时间步的输入数据和前一个时间步的隐藏状态传递给一个激活函数(如tanh或ReLU),从而生成新的隐藏状态。这个隐藏状态随后会被用作下一个时间步的输入之一,同时也可能用于生成当前时间步的输出。

3.结构分类

一对一结构:单个神经网络,即输入和输出都是单个值或向量。

一对多结构:单一输入转为序列输出。这类RNN可以处理图片,然后输出图片的描述信息。

多对一结构:序列输入转为单个输出。这种结构多用在电影评价分析等领域。

N对N结构:输入输出等长序列。这类限制比较大,常见的应用有作诗机器人等。

多对多结构(Seq2Seq结构):输入输出不等长的多对多结构,又叫Encoder-Decoder模型。这种结构的应用范围非常广泛,包括语言翻译、文本摘要、阅读理解、对话生成等。

4.模型工作原理

初始化状态:在序列的开始,RNN会有一个初始隐藏状态,通常是一个零向量或通过某种方式初始化。

序列处理:对于序列中的每个元素,RNN会计算当前时间步的隐藏状态。这通常通过一个激活函数(如tanh或ReLU)来完成。

信息传递:隐藏状态会传递到下一个时间步,与新的输入一起更新。

输出生成:在每个时间步,RNN可以生成一个输出,这通常通过另一个激活函数来完成。

序列结束:当序列结束时,RNN可以输出最终的隐藏状态,或者通过一个额外的输出层来生成最终的预测。

5.模型工作示例

对于一个词汇表,先将其转换成向量的形式。

这里那填词案例来演示,就是说当一段词语有一个空白需要填词,一般的神经网络是考虑前一个词语来预测这个空白,而循环神经网络不光是考虑空白前的那个词,还会考虑前面的已有的词,进一步预测空白处的词语,RNN可以捕捉到前面输入词语之间的联系,提高填入的词语的准确度。

通过RNN的隐藏层获取输入之间的联系,下一个输入的同时会联系到上一个输入的隐藏状态,当输入结束时候输出最终的结果。

6.总结

循环神经网络可以很好的捕捉到之前的各项输入之间的联系,相对于其他传统的神经网络更加灵活,应用的场景也更多,结果也更准确。并且RNN中的权重参数是共享的,这有助于减少模型的参数数量并提高计算效率。但是循环神经网络也存在一些不足,比如梯度消失和梯度爆炸问题:在长序列任务中,RNN容易出现梯度消失或梯度爆炸的问题,导致模型难以训练。

相关推荐
class心平气和3 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷3 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
字节跳动开源3 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术3 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
code2cat3 小时前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
玄魂4 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何4 小时前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师4 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术4 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能
QA老兵的AI实战手记4 小时前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能