简述循环神经网络RNN

1.why RNN

CNN:处理图像之间没有时间/先后关系

RNN:对于录像,图像之间也许有时间/先后顺序,此时使用CNN效果不会很好,同理和人类的语言相关的方面时间顺序就更为重要了

2.RNN和CNN之间的关联

RNN和CNN本质上其实一致,只是RNN中多了一些权重(W,U)的计算,而且这些线性运算之间都是加法。这些额外的权重虽然使得矩阵的运算变大了,但是并没有使得问题变得特别复杂。也正是由于这些被额外使用的信号,使得我们能够处理序列的问题。

3.RNN由于增加条件产生的问题

  • 梯度爆炸(表现出模型的不稳定、不鲁棒)
  • 梯度消失(出现更多,随着连乘的出现不可避免的出现梯度消失)
    • 有时也许并不是LSTM可以减少梯度消失,使得训练变好,只是提出者的故事讲得好。
    • LSTM(提出类似ResNet的暂存单元形式)
      • 类似电子控制的思想(加门 -- 权重),使得记忆不要一直保存,需要的记忆知识多一些,门就开都大一些(权重值给大一些);需要记忆小一些,门就小一点(权重值小一点);甚至不需要记忆的时候权值为0--关门。
      • 我们也可以在其他领域算法中加一些门来放大哪些内容,阻挡那些内容。
      • 同时我们也要考虑添加了一些内容之后,模型是否还能够计算,能否解释。
    • GRU
      • 对LSTM的一些简化
      • 两个方法的比较研究也许已经被很多博客或者其他人研究过了,所以完成的模型比较研究不是很好做。
相关推荐
胖达不服输8 分钟前
「日拱一码」020 机器学习——数据处理
人工智能·python·机器学习·数据处理
吴佳浩44 分钟前
Python入门指南-AI模型相似性检测方法:技术原理与实现
人工智能·python·llm
kebijuelun1 小时前
百度文心 4.5 大模型详解:ERNIE 4.5 Technical Report
人工智能·深度学习·百度·语言模型·自然语言处理·aigc
算家计算1 小时前
ComfyUI-v0.3.43本地部署教程:新增 Omnigen 2 支持,复杂图像任务一步到位!
人工智能·开源
新智元1 小时前
毕业 7 年,身价破亿!清北 AI 天团血洗硅谷,奥特曼被逼分天价股份
人工智能·openai
新智元1 小时前
刚刚,苹果大模型团队负责人叛逃 Meta!华人 AI 巨星 + 1,年薪飙至 9 位数
人工智能·openai
Cyltcc2 小时前
如何安装和使用 Claude Code 教程 - Windows 用户篇
人工智能·claude·visual studio code
吹风看太阳2 小时前
机器学习16-总体架构
人工智能·机器学习
moonsims3 小时前
全国产化行业自主无人机智能处理单元-AI飞控+通信一体化模块SkyCore-I
人工智能·无人机
MUTA️3 小时前
ELMo——Embeddings from Language Models原理速学
人工智能·语言模型·自然语言处理