RNN——循环神经网络

一.基本结构

1.目标:处理序列数据(时间序列,文本,语音等),捕捉时间维度上的依赖关系

核心机制:通过隐藏状态(hidden State)传递历史信息,每个时间步的输入包含当前数据和前一步的隐藏状态

前向传播的公式:

  • ht​:当前时间步的隐藏状态

  • xtxt​:当前输入

  • Wh,WxWh​,Wx​:权重矩阵

  • σσ:激活函数(通常为tanhReLU

2.输入与输出形式

单输入单输出(如时间序列预测):每个时间步接收一个输入,最后一步输出预测结果

多输入,多输出(如机器翻译): 每个时间步接收输入并生成输出(如逐词翻译)。

Seq2Seq(如文本生成):编码器-解码器结构,编码器处理输入序列,解码器生成输出序列。

二.RNN的变体

1.双向RNN

  • 特点 :同时捕捉过去和未来的上下文信息。

  • 结构:包含正向和反向两个隐藏层,最终输出由两者拼接而成。

2.深层RNN

  • 特点:堆叠多个RNN层,增强模型表达能力。

  • 结构:每层的隐藏状态作为下一层的输入。

3.LSTM(长短时记忆网络)

  • 核心机制 :通过**细胞状态(Cell State)**和门控机制(输入门、遗忘门、输出门)解决梯度消失问题。

  • 门控公式

    • 遗忘门:决定保留多少旧信息

    • 输入门:决定新增多少新信息

    • 输出门:决定当前隐藏状态输出

4.GRU(门控循环单元)

  • 简化版LSTM:合并细胞状态和隐藏状态,参数更少。

  • 门控公式

    • 更新门:控制新旧信息的融合比例

    • 重置门:决定忽略多少旧信息

三.RNN的梯度问题与优化

梯度消失与爆炸的原因

  • 反向传播:通过时间展开(BPTT)计算梯度时,梯度涉及权重矩阵的连乘。

  • 梯度消失:若权重矩阵特征值 ∣λ∣<1∣λ∣<1,梯度指数级衰减,深层参数无法更新。

  • 梯度爆炸:若 ∣λ∣>1∣λ∣>1,梯度指数级增长,导致数值溢出或模型震荡。

解决方案

  • 梯度裁剪(Gradient Clipping):限制梯度最大值,防止爆炸。

  • 参数初始化:使用正交初始化(保持矩阵乘法后的范数稳定)。

  • 改进结构:LSTM/GRU通过门控机制缓解梯度消失。

  • 残差连接:跨时间步跳跃连接(如 ht=ht−1+f(xt,ht−1)ht​=ht−1​+f(xt​,ht−1​)),直接传递梯度。

相关推荐
京国问道16 分钟前
MCP的基础知识
人工智能·function call·mcp
mailangduoduo44 分钟前
基于UNet算法的农业遥感图像语义分割——补充版
人工智能·深度学习·机器学习·计算机视觉·语义分割
Jamence1 小时前
多模态大语言模型arxiv论文略读(五十一)
深度学习·计算机视觉·语言模型
Sui_Network1 小时前
Walrus 与 Pudgy Penguins 达成合作,为 Web3 头部 IP 引入去中心化存储
大数据·人工智能·游戏·web3·去中心化·区块链
禺垣1 小时前
Bagging、Boosting、Stacking的原理
人工智能·机器学习·数据分析·集成学习·boosting·bagging·stacking
hunteritself1 小时前
OpenAI 上新:轻量版 Deep Research、GPT-4o 升级、o3 限额翻倍、生图 API 发布!| AI Weekly 4.21-4.27
前端·人工智能·科技·深度学习·chatgpt
AI让世界更懂你1 小时前
【ACL系列论文写作指北08-图表设计规范】-让数据与结构一目了然
人工智能·设计规范
HUIBUR科技1 小时前
AI与无人零售:如何通过智能化技术提升消费者体验和运营效率?
人工智能·ai
老艾的AI世界1 小时前
最强AI数字人,口型、表情、动作全同步!Kairos下载介绍
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai·数字人·虚拟数字人·ai虚拟数字人
kaamelai2 小时前
Kaamel白皮书:OpenAI 在安全方向的实践
大数据·人工智能·安全