简述循环神经网络RNN

1.why RNN

CNN:处理图像之间没有时间/先后关系

RNN:对于录像,图像之间也许有时间/先后顺序,此时使用CNN效果不会很好,同理和人类的语言相关的方面时间顺序就更为重要了

2.RNN和CNN之间的关联

RNN和CNN本质上其实一致,只是RNN中多了一些权重(W,U)的计算,而且这些线性运算之间都是加法。这些额外的权重虽然使得矩阵的运算变大了,但是并没有使得问题变得特别复杂。也正是由于这些被额外使用的信号,使得我们能够处理序列的问题。

3.RNN由于增加条件产生的问题

  • 梯度爆炸(表现出模型的不稳定、不鲁棒)
  • 梯度消失(出现更多,随着连乘的出现不可避免的出现梯度消失)
    • 有时也许并不是LSTM可以减少梯度消失,使得训练变好,只是提出者的故事讲得好。
    • LSTM(提出类似ResNet的暂存单元形式)
      • 类似电子控制的思想(加门 -- 权重),使得记忆不要一直保存,需要的记忆知识多一些,门就开都大一些(权重值给大一些);需要记忆小一些,门就小一点(权重值小一点);甚至不需要记忆的时候权值为0--关门。
      • 我们也可以在其他领域算法中加一些门来放大哪些内容,阻挡那些内容。
      • 同时我们也要考虑添加了一些内容之后,模型是否还能够计算,能否解释。
    • GRU
      • 对LSTM的一些简化
      • 两个方法的比较研究也许已经被很多博客或者其他人研究过了,所以完成的模型比较研究不是很好做。
相关推荐
只说证事38 分钟前
2025年数字公共治理专业重点学什么内容?(详细指南)
人工智能
LeeZhao@38 分钟前
【AI推理部署】Docker篇04—Docker自动构建镜像
人工智能·docker·容器
程思扬42 分钟前
利用JSONCrack与cpolar提升数据可视化及跨团队协作效率
网络·人工智能·经验分享·docker·信息可视化·容器·架构
南方者1 小时前
它的 AI Agent 凭什么能擦出火花?!
人工智能·ai编程
心动啊1211 小时前
深度神经网络1——梯度问题+标签数不够问题
人工智能·神经网络·dnn
南方者1 小时前
基于Amazon Bedrock Agent 的两个服务示例的完整流程与详细内容,包含技术架构、实现细节、交互逻辑及扩展能力
人工智能·ai编程·敏捷开发
小王爱学人工智能1 小时前
OpenCV一些进阶操作
人工智能·opencv·计算机视觉
七元权1 小时前
论文阅读-Correlate and Excite
论文阅读·深度学习·注意力机制·双目深度估计
新智元1 小时前
起猛了!这个国家任命 AI 为「部长」:全球首个,手握实权,招标 100% 透明
人工智能·openai
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | 大语言模型驱动的多来源漏洞影响库识别研究解析
论文阅读·人工智能·语言模型