简述循环神经网络RNN

1.why RNN

CNN:处理图像之间没有时间/先后关系

RNN:对于录像,图像之间也许有时间/先后顺序,此时使用CNN效果不会很好,同理和人类的语言相关的方面时间顺序就更为重要了

2.RNN和CNN之间的关联

RNN和CNN本质上其实一致,只是RNN中多了一些权重(W,U)的计算,而且这些线性运算之间都是加法。这些额外的权重虽然使得矩阵的运算变大了,但是并没有使得问题变得特别复杂。也正是由于这些被额外使用的信号,使得我们能够处理序列的问题。

3.RNN由于增加条件产生的问题

  • 梯度爆炸(表现出模型的不稳定、不鲁棒)
  • 梯度消失(出现更多,随着连乘的出现不可避免的出现梯度消失)
    • 有时也许并不是LSTM可以减少梯度消失,使得训练变好,只是提出者的故事讲得好。
    • LSTM(提出类似ResNet的暂存单元形式)
      • 类似电子控制的思想(加门 -- 权重),使得记忆不要一直保存,需要的记忆知识多一些,门就开都大一些(权重值给大一些);需要记忆小一些,门就小一点(权重值小一点);甚至不需要记忆的时候权值为0--关门。
      • 我们也可以在其他领域算法中加一些门来放大哪些内容,阻挡那些内容。
      • 同时我们也要考虑添加了一些内容之后,模型是否还能够计算,能否解释。
    • GRU
      • 对LSTM的一些简化
      • 两个方法的比较研究也许已经被很多博客或者其他人研究过了,所以完成的模型比较研究不是很好做。
相关推荐
九章云极AladdinEdu3 分钟前
深度学习优化器进化史:从SGD到AdamW的原理与选择
linux·服务器·开发语言·网络·人工智能·深度学习·gpu算力
dlraba8029 分钟前
Python 实战:票据图像自动矫正技术拆解与落地教程
人工智能·opencv·计算机视觉
过河卒_zh156676629 分钟前
9.13AI简报丨哈佛医学院开源AI模型,Genspark推出AI浏览器
人工智能·算法·microsoft·aigc·算法备案·生成合成类算法备案
程序员ken33 分钟前
深入理解大语言模型(5)-关于token
人工智能·语言模型·自然语言处理
Codebee40 分钟前
OneCode 移动套件多平台适配详细报告
前端·人工智能
sinat_286945191 小时前
Case-Based Reasoning用于RAG
人工智能·算法·chatgpt
许泽宇的技术分享1 小时前
AI时代的内容创作革命:深度解析xiaohongshu-mcp项目的技术创新与实战价值
人工智能
地平线开发者1 小时前
征程 6 灰度图部署链路介绍
人工智能·算法·自动驾驶·汽车
工藤学编程1 小时前
零基础学AI大模型之SpringAI
人工智能
Xy-unu1 小时前
[VL|RIS] RSRefSeg 2
论文阅读·人工智能·transformer·论文笔记·分割