【HUAWEI】HCIP-AI-MindSpore Developer V1.0 | 第一章 神经网络基础( 3 循环神经网络 ) | 学习笔记

目录

[第一章 神经网络基础](#第一章 神经网络基础)

[3 循环神经网络](#3 循环神经网络)

[▲ 循环神经网络简介](#▲ 循环神经网络简介)

标准RNN结构

多层双向循环神经网络

BPTT反向传播求导

标准RNN结构的问题

[▲ 循环神经网络应用](#▲ 循环神经网络应用)

[▲ 循环神经网络变种](#▲ 循环神经网络变种)

长短期记忆网络

GRU



第一章 神经网络基础

3 循环神经网络

▲ 循环神经网络简介

循环神经网络( Recurrent Neural Network ,简称 RNN )是一种通过隐藏层节点周期性 的连接,来捕捉++++序列化++++数据中动态信息的神经网络,可以对序列化的数据进行分类。

标准RNN结构
多层双向循环神经网络
BPTT反向传播求导
标准RNN结构的问题

解决了信息记忆的问题,但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信息。

基本的循环神经网络存在梯度爆炸和梯度消失问题,并不能真正的处理好长距离的依赖。如下:

▲ 循环神经网络应用

循环神经网络的应用

▲ 循环神经网络变种

长短期记忆网络

长短期记忆网络( Long Short Term Memory , LSTM ):一种特殊的 RNN 类型,可以学习长期依赖信息。

LSTM 的记忆单元和标准 RNN 一样,负责记录之前的信息 。

遗忘门结构通过分析上一时刻的输出,和当前时刻的输入,计算出遗忘系数 。

输入门结构通过分析上一时刻的输出,和当前时刻的输入,计算出输入系数和需要新记忆的内容。

信息更新

输出门

GRU

****门控循环单元( Gated Recurrent Unit , GRU )****是简化版的 LSTM 。因为 LSTM 中,遗忘门和输入门的关系互补,所以 GRU 用一个门代替。

在 LSTM 中引入了三个门函数: ++++输入门++++ ++++遗忘门++++ ++++输出门++++ 来控制输入值、记忆值和输出值

GRU 模型中只有两个门:分别是 ++++更新门++++ ++++重置门++++

说明:本文内容来源于网络,仅作为学习用途,如有侵权,请联系作者删除。

相关推荐
摘星编程几秒前
构建智能客服Agent:从需求分析到生产部署
人工智能·需求分析·智能客服·agent开发·生产部署
不爱学习的YY酱3 分钟前
信息检索革命:Perplexica+cpolar打造你的专属智能搜索中枢
人工智能
Y4090015 分钟前
C语言转Java语言,相同与相异之处
java·c语言·开发语言·笔记
笑衬人心。7 分钟前
TCP 拥塞控制算法 —— 慢启动(Slow Start)笔记
笔记·tcp/ip·php
花海如潮淹19 分钟前
前端性能追踪工具:用户体验的毫秒战争
前端·笔记·ux
whaosoft-1431 小时前
51c自动驾驶~合集7
人工智能
Andy杨1 小时前
20250718-5-Kubernetes 调度-Pod对象:重启策略+健康检查_笔记
笔记·容器·kubernetes
刘晓倩4 小时前
Coze智能体开发实战-多Agent综合实战
人工智能·coze
石迹耿千秋5 小时前
迁移学习--基于torchvision中VGG16模型的实战
人工智能·pytorch·机器学习·迁移学习
杭州杭州杭州7 小时前
Python笔记
开发语言·笔记·python