深度学习--循环神经网络RNN

文章目录


前言

循环神经网络(RNN)的起源可以追溯到1982年,由Saratha Sathasivam提出的霍普菲尔德网络(Hopfield network)。 然而,早期的RNN结构相对简单,且在实际应用中受到了一定的限制。 随着深度学习技术的不断发展,RNN模型在结构和性能上得到了显著的改进,成为处理序列数据的强大工具。


一、RNN介绍

RNN(Recurrent Neural Network,循环神经网络 )是一种用于处理序列数据的神经网络架构。其在处理序列输入时具有记忆性,可以保留之前输入的信息并继续作为后续输入的一部分进行计算。

如上图所示,假如有一句话,"今天周六不上班",将其分词成"今天"、"周六"、"不"、"上班",第一个词的词向量表示x1,第二个单词的词向量表示为x2,依次表示所有x,然后首先第一个词向量x1传入h1,然后偏置项h0也同步传入,得到一个结果再传入h2,h2再得到传入的x2传入h3...,继续像上述流程一样,以此保存了所有的信息并得到最终结果。

1、传统神经网络存在的问题

  • 无法训练出具有顺序的数据。模型搭建时没有考虑数据上下之间的关系。

2、RNN的核心思想

  • 循环结构:RNN通过隐藏态h(Hidden State)在不同参数之间传递信息,使网络具备记忆能力。当前步骤的输入不仅包括当前数据,还包含上一步的隐藏状态,从而保留数据信息。

  • 参数共享:所有参数共享相同的权重参数

3、 RNN的局限性

  • 长距离依赖问题:长序列中早期信息难以传递到后续步骤,因梯度消失/爆炸导致训练困难。

  • 梯度消失:反向传播时梯度随时间步指数衰减,参数无法更新。

  • 梯度爆炸:梯度指数增长,导致数值溢出。


二、RNN基本结构

1、RNN基本结构


  • 下方蓝色的是输入层,
  • 中间的矩形是隐藏层,
  • 上方紫色的是输出层

2、推导

如下图所示,隐状态h相当于一个函数,f为一个激活函数,其有中的参数U、W、b在每一步都是一样的。

h0乘以一个参数矩阵W加上x1乘以一个参数矩阵U;
再加一个偏置项b,得到一个结果;
将这个结果传入激活函数f,进行特征提取;
h1.h2...hx如是,继续叠加。


对于结果y也会乘以一个矩阵V,加上偏置c后传入一个Softmax交叉熵损失函数,一般情况下y1的用处不大,最重要的是最后一个,例如下图的y4,因为y4涵盖了前面所有的词的特征。

3、注意

  • RNN结构中输入是x1, x2, ...xn,输出为y1, y2, ...yn,也就是说,输入和输出序列必须要是等长的。
  • 每一次训练中计算用的u,v,w,b都是一样的 ,训练完反向传播会进行更新。

4、循环的由来

5、再谈RNN的局限

  • 当出现"我的职业是程序员,...,我最擅长的是电脑"。需要预测最后的词"电脑"。

  • 当前的信息建议下一个词可能是一种技能,但是如果我们需要弄清楚是什么技能,需要先前提到的离当前位置很远的"职业是程序员"的上下文。

  • 这说明相关信息和当前预测位置之间的间隔就变得相当的大。

  • 在理论上,RNN绝对可以处理这样的长期依赖问题。

  • 人们可以仔细挑选参数来解决这类问题中的最初级形式,但在实践中,RNN则没法太好的学习到这些知识。

  • 这使得模型难以学习长距离依赖关系

    原因是:梯度会随着时间的推移不断下降减少,而当梯度值变得非常小时,就不会继续学习。​

总结

阅读本篇会发现RNN有很多问题, 改进方案:LSTM与GRU,之后会讲^^。

相关推荐
ai_xiaogui7 分钟前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
聚客AI1 小时前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_387545641 小时前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
聽雨2372 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
二川bro2 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm2 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl2 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络
羊小猪~~3 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
摸爬滚打李上进3 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木3 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记