深度学习--循环神经网络RNN

文章目录


前言

循环神经网络(RNN)的起源可以追溯到1982年,由Saratha Sathasivam提出的霍普菲尔德网络(Hopfield network)。 然而,早期的RNN结构相对简单,且在实际应用中受到了一定的限制。 随着深度学习技术的不断发展,RNN模型在结构和性能上得到了显著的改进,成为处理序列数据的强大工具。


一、RNN介绍

RNN(Recurrent Neural Network,循环神经网络 )是一种用于处理序列数据的神经网络架构。其在处理序列输入时具有记忆性,可以保留之前输入的信息并继续作为后续输入的一部分进行计算。

如上图所示,假如有一句话,"今天周六不上班",将其分词成"今天"、"周六"、"不"、"上班",第一个词的词向量表示x1,第二个单词的词向量表示为x2,依次表示所有x,然后首先第一个词向量x1传入h1,然后偏置项h0也同步传入,得到一个结果再传入h2,h2再得到传入的x2传入h3...,继续像上述流程一样,以此保存了所有的信息并得到最终结果。

1、传统神经网络存在的问题

  • 无法训练出具有顺序的数据。模型搭建时没有考虑数据上下之间的关系。

2、RNN的核心思想

  • 循环结构:RNN通过隐藏态h(Hidden State)在不同参数之间传递信息,使网络具备记忆能力。当前步骤的输入不仅包括当前数据,还包含上一步的隐藏状态,从而保留数据信息。

  • 参数共享:所有参数共享相同的权重参数

3、 RNN的局限性

  • 长距离依赖问题:长序列中早期信息难以传递到后续步骤,因梯度消失/爆炸导致训练困难。

  • 梯度消失:反向传播时梯度随时间步指数衰减,参数无法更新。

  • 梯度爆炸:梯度指数增长,导致数值溢出。


二、RNN基本结构

1、RNN基本结构


  • 下方蓝色的是输入层,
  • 中间的矩形是隐藏层,
  • 上方紫色的是输出层

2、推导

如下图所示,隐状态h相当于一个函数,f为一个激活函数,其有中的参数U、W、b在每一步都是一样的。

h0乘以一个参数矩阵W加上x1乘以一个参数矩阵U;
再加一个偏置项b,得到一个结果;
将这个结果传入激活函数f,进行特征提取;
h1.h2...hx如是,继续叠加。


对于结果y也会乘以一个矩阵V,加上偏置c后传入一个Softmax交叉熵损失函数,一般情况下y1的用处不大,最重要的是最后一个,例如下图的y4,因为y4涵盖了前面所有的词的特征。

3、注意

  • RNN结构中输入是x1, x2, ...xn,输出为y1, y2, ...yn,也就是说,输入和输出序列必须要是等长的。
  • 每一次训练中计算用的u,v,w,b都是一样的 ,训练完反向传播会进行更新。

4、循环的由来

5、再谈RNN的局限

  • 当出现"我的职业是程序员,...,我最擅长的是电脑"。需要预测最后的词"电脑"。

  • 当前的信息建议下一个词可能是一种技能,但是如果我们需要弄清楚是什么技能,需要先前提到的离当前位置很远的"职业是程序员"的上下文。

  • 这说明相关信息和当前预测位置之间的间隔就变得相当的大。

  • 在理论上,RNN绝对可以处理这样的长期依赖问题。

  • 人们可以仔细挑选参数来解决这类问题中的最初级形式,但在实践中,RNN则没法太好的学习到这些知识。

  • 这使得模型难以学习长距离依赖关系

    原因是:梯度会随着时间的推移不断下降减少,而当梯度值变得非常小时,就不会继续学习。​

总结

阅读本篇会发现RNN有很多问题, 改进方案:LSTM与GRU,之后会讲^^。

相关推荐
一 铭43 分钟前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力4 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心4 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield5 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域6 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技6 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_16 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎7 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎7 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊7 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪