简述循环神经网络RNN

1.why RNN

CNN:处理图像之间没有时间/先后关系

RNN:对于录像,图像之间也许有时间/先后顺序,此时使用CNN效果不会很好,同理和人类的语言相关的方面时间顺序就更为重要了

2.RNN和CNN之间的关联

RNN和CNN本质上其实一致,只是RNN中多了一些权重(W,U)的计算,而且这些线性运算之间都是加法。这些额外的权重虽然使得矩阵的运算变大了,但是并没有使得问题变得特别复杂。也正是由于这些被额外使用的信号,使得我们能够处理序列的问题。

3.RNN由于增加条件产生的问题

  • 梯度爆炸(表现出模型的不稳定、不鲁棒)
  • 梯度消失(出现更多,随着连乘的出现不可避免的出现梯度消失)
    • 有时也许并不是LSTM可以减少梯度消失,使得训练变好,只是提出者的故事讲得好。
    • LSTM(提出类似ResNet的暂存单元形式)
      • 类似电子控制的思想(加门 -- 权重),使得记忆不要一直保存,需要的记忆知识多一些,门就开都大一些(权重值给大一些);需要记忆小一些,门就小一点(权重值小一点);甚至不需要记忆的时候权值为0--关门。
      • 我们也可以在其他领域算法中加一些门来放大哪些内容,阻挡那些内容。
      • 同时我们也要考虑添加了一些内容之后,模型是否还能够计算,能否解释。
    • GRU
      • 对LSTM的一些简化
      • 两个方法的比较研究也许已经被很多博客或者其他人研究过了,所以完成的模型比较研究不是很好做。
相关推荐
在所不辞兄6 分钟前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下1 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码1 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下2 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩2 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY2 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
Flynn Liang2 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
锋行天下3 小时前
langgraph全栈项目(一)
前端·人工智能·后端
程序员cxuan3 小时前
不得了,Google 造反了,Opus 5.5 又被干了
人工智能·后端·程序员
数字新视界3 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房