深度学习:循环神经网络RNN

目录

一、神经网络的历程

1.传统神经网络存在的问题

2.提出一种新的神经网络

二、RNN基本结构

1.RNN基本结构

2.RNN的独特结构

3.RNN的局限性


一、神经网络的历程

1.传统神经网络存在的问题

  • 无法训练出具有顺序的数据。模型搭建时没有考虑数据上下之间的关系。
  • 因为传统神经网络输入数据的时候是同时输入,同一层的数据之间没有顺序关系,所以对于连续性的数据没有很好的预测效果

2.提出一种新的神经网络

  • 为了解决传统神经网络的问题,提出了一种新的神经网络------RNN(Recurrent Neural Network)在处理序列输入时具有记忆性,可以保留之前输入的信息并继续作为后续输入的一部分进行计算。

二、RNN基本结构

1.RNN基本结构

  • 下方蓝色的是输入,
  • 中间的矩形是隐藏层,
  • 上方紫色的是输出层
  • 看成传统神经网络转了个方向比较好理解

2.RNN的独特结构

  • RNN叫循环神经网络
  • 那么它的循环在哪呢,就是它的独特结构
  • 最开始的时候会有一个类似于偏置项的h0
  • h0乘以一个w矩阵然后与输入的数据x乘以一个u矩阵得到的结果再加上偏置项然后传入激活函数得到h1
  • h1乘以一个v矩阵加上偏置项c的结果传入交叉熵激活函数,得到输出的y1
  • 依次循环下去,得到最终的yn
  • 这个yn就是结合了整个数据的特征
  • 注意:
    • 每一次训练中计算用的u,v,w,b都是一样的 ,训练完反向传播会进行更新
    • RNN结构中输入是x1, x2, .....xn,输出为y1, y2, ...yn,也就是说,输入和输出序列必须要是等长的

3.RNN的局限性

  • 当出现"我的职业是程序员,...,我最擅长的是电脑"。当需要预测最后的词"电脑"。

  • 当前的信息建议下一个词可能是一种技能,但是如果我们需要弄清楚是什么技能,需要先前提到的离当前位置很远的"职业是程序员"的上下文。

  • 这说明相关信息和当前预测位置之间的间隔就变得相当的大。

  • 在理论上,RNN绝对可以处理这样的长期依赖问题。

  • 人们可以仔细挑选参数来解决这类问题中的最初级形式,但在实践中,RNN则没法太好的学习到这些知识。

  • 这使得模型难以学习长距离依赖关系

  • 原因是:梯度会随着时间的推移不断下降减少,而当梯度值变得非常小时,就不会继续学习。

相关推荐
Jaly_W2 分钟前
用于航空发动机故障诊断的深度分层排序网络
人工智能·深度学习·故障诊断·航空发动机
LuH11244 分钟前
【论文阅读笔记】Scalable, Detailed and Mask-Free Universal Photometric Stereo
论文阅读·笔记
FL16238631291 小时前
钢材缺陷识别分割数据集labelme格式693张4类别
深度学习
m0_748256782 小时前
WebGIS实战开源项目:智慧机场三维可视化(学习笔记)
笔记·学习·开源
红色的山茶花2 小时前
YOLOv9-0.1部分代码阅读笔记-loss.py
笔记
南七澄江3 小时前
各种网站(学习资源及其他)
开发语言·网络·python·深度学习·学习·机器学习·ai
胡西风_foxww4 小时前
【es6复习笔记】Promise对象详解(12)
javascript·笔记·es6·promise·异步·回调·地狱
Crossoads7 小时前
【汇编语言】端口 —— 「从端口到时间:一文了解CMOS RAM与汇编指令的交汇」
android·java·汇编·深度学习·网络协议·机器学习·汇编语言
凳子花❀9 小时前
强化学习与深度学习以及相关芯片之间的区别
人工智能·深度学习·神经网络·ai·强化学习
吉大一菜鸡10 小时前
FPGA学习(基于小梅哥Xilinx FPGA)学习笔记
笔记·学习·fpga开发