简述循环神经网络RNN

1.why RNN

CNN:处理图像之间没有时间/先后关系

RNN:对于录像,图像之间也许有时间/先后顺序,此时使用CNN效果不会很好,同理和人类的语言相关的方面时间顺序就更为重要了

2.RNN和CNN之间的关联

RNN和CNN本质上其实一致,只是RNN中多了一些权重(W,U)的计算,而且这些线性运算之间都是加法。这些额外的权重虽然使得矩阵的运算变大了,但是并没有使得问题变得特别复杂。也正是由于这些被额外使用的信号,使得我们能够处理序列的问题。

3.RNN由于增加条件产生的问题

  • 梯度爆炸(表现出模型的不稳定、不鲁棒)
  • 梯度消失(出现更多,随着连乘的出现不可避免的出现梯度消失)
    • 有时也许并不是LSTM可以减少梯度消失,使得训练变好,只是提出者的故事讲得好。
    • LSTM(提出类似ResNet的暂存单元形式)
      • 类似电子控制的思想(加门 -- 权重),使得记忆不要一直保存,需要的记忆知识多一些,门就开都大一些(权重值给大一些);需要记忆小一些,门就小一点(权重值小一点);甚至不需要记忆的时候权值为0--关门。
      • 我们也可以在其他领域算法中加一些门来放大哪些内容,阻挡那些内容。
      • 同时我们也要考虑添加了一些内容之后,模型是否还能够计算,能否解释。
    • GRU
      • 对LSTM的一些简化
      • 两个方法的比较研究也许已经被很多博客或者其他人研究过了,所以完成的模型比较研究不是很好做。
相关推荐
伞伞悦读2 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
7177772 小时前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.3 小时前
AI大模型术语
人工智能
土豆12505 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI7 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我7 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风7 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT7 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人7 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1