【HUAWEI】HCIP-AI-MindSpore Developer V1.0 | 第一章 神经网络基础( 3 循环神经网络 ) | 学习笔记

目录

[第一章 神经网络基础](#第一章 神经网络基础)

[3 循环神经网络](#3 循环神经网络)

[▲ 循环神经网络简介](#▲ 循环神经网络简介)

标准RNN结构

多层双向循环神经网络

BPTT反向传播求导

标准RNN结构的问题

[▲ 循环神经网络应用](#▲ 循环神经网络应用)

[▲ 循环神经网络变种](#▲ 循环神经网络变种)

长短期记忆网络

GRU



第一章 神经网络基础

3 循环神经网络

▲ 循环神经网络简介

循环神经网络( Recurrent Neural Network ,简称 RNN )是一种通过隐藏层节点周期性 的连接,来捕捉++++序列化++++数据中动态信息的神经网络,可以对序列化的数据进行分类。

标准RNN结构
多层双向循环神经网络
BPTT反向传播求导
标准RNN结构的问题

解决了信息记忆的问题,但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信息。

基本的循环神经网络存在梯度爆炸和梯度消失问题,并不能真正的处理好长距离的依赖。如下:

▲ 循环神经网络应用

循环神经网络的应用

▲ 循环神经网络变种

长短期记忆网络

长短期记忆网络( Long Short Term Memory , LSTM ):一种特殊的 RNN 类型,可以学习长期依赖信息。

LSTM 的记忆单元和标准 RNN 一样,负责记录之前的信息 。

遗忘门结构通过分析上一时刻的输出,和当前时刻的输入,计算出遗忘系数 。

输入门结构通过分析上一时刻的输出,和当前时刻的输入,计算出输入系数和需要新记忆的内容。

信息更新

输出门

GRU

****门控循环单元( Gated Recurrent Unit , GRU )****是简化版的 LSTM 。因为 LSTM 中,遗忘门和输入门的关系互补,所以 GRU 用一个门代替。

在 LSTM 中引入了三个门函数: ++++输入门++++ ++++遗忘门++++ ++++输出门++++ 来控制输入值、记忆值和输出值

GRU 模型中只有两个门:分别是 ++++更新门++++ ++++重置门++++

说明:本文内容来源于网络,仅作为学习用途,如有侵权,请联系作者删除。

相关推荐
IT_陈寒19 小时前
React 18实战:7个被低估的Hooks技巧让你的开发效率提升50%
前端·人工智能·后端
逛逛GitHub20 小时前
飞书多维表“独立”了!功能强大的超出想象。
人工智能·github·产品
机器之心20 小时前
刚刚,DeepSeek-R1论文登上Nature封面,通讯作者梁文锋
人工智能·openai
使一颗心免于哀伤21 小时前
《设计模式之禅》笔记摘录 - 21.状态模式
笔记·设计模式
aneasystone本尊1 天前
学习 Chat2Graph 的知识库服务
人工智能
IT_陈寒1 天前
Redis 性能翻倍的 7 个冷门技巧,第 5 个大多数人都不知道!
前端·人工智能·后端
飞哥数智坊1 天前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三1 天前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯1 天前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet2 天前
公益站Agent Router注册送200刀额度竟然是真的
人工智能