【HUAWEI】HCIP-AI-MindSpore Developer V1.0 | 第一章 神经网络基础( 3 循环神经网络 ) | 学习笔记

目录

[第一章 神经网络基础](#第一章 神经网络基础)

[3 循环神经网络](#3 循环神经网络)

[▲ 循环神经网络简介](#▲ 循环神经网络简介)

标准RNN结构

多层双向循环神经网络

BPTT反向传播求导

标准RNN结构的问题

[▲ 循环神经网络应用](#▲ 循环神经网络应用)

[▲ 循环神经网络变种](#▲ 循环神经网络变种)

长短期记忆网络

GRU



第一章 神经网络基础

3 循环神经网络

▲ 循环神经网络简介

循环神经网络( Recurrent Neural Network ,简称 RNN )是一种通过隐藏层节点周期性 的连接,来捕捉++++序列化++++数据中动态信息的神经网络,可以对序列化的数据进行分类。

标准RNN结构
多层双向循环神经网络
BPTT反向传播求导
标准RNN结构的问题

解决了信息记忆的问题,但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信息。

基本的循环神经网络存在梯度爆炸和梯度消失问题,并不能真正的处理好长距离的依赖。如下:

▲ 循环神经网络应用

循环神经网络的应用

▲ 循环神经网络变种

长短期记忆网络

长短期记忆网络( Long Short Term Memory , LSTM ):一种特殊的 RNN 类型,可以学习长期依赖信息。

LSTM 的记忆单元和标准 RNN 一样,负责记录之前的信息 。

遗忘门结构通过分析上一时刻的输出,和当前时刻的输入,计算出遗忘系数 。

输入门结构通过分析上一时刻的输出,和当前时刻的输入,计算出输入系数和需要新记忆的内容。

信息更新

输出门

GRU

****门控循环单元( Gated Recurrent Unit , GRU )****是简化版的 LSTM 。因为 LSTM 中,遗忘门和输入门的关系互补,所以 GRU 用一个门代替。

在 LSTM 中引入了三个门函数: ++++输入门++++ ++++遗忘门++++ ++++输出门++++ 来控制输入值、记忆值和输出值

GRU 模型中只有两个门:分别是 ++++更新门++++ ++++重置门++++

说明:本文内容来源于网络,仅作为学习用途,如有侵权,请联系作者删除。

相关推荐
aneasystone本尊几秒前
管理 Claude Code 的工具权限
人工智能
聚客AI15 分钟前
大模型学习进阶路线图:从Prompt到预训练的四阶段全景解析
人工智能·llm·掘金·日新计划
晓131319 分钟前
第七章 OpenCV篇——角点检测与特征检测
人工智能·深度学习·计算机视觉
DeepSeek大模型官方教程1 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
致***锌1 小时前
期权标准化合约是什么?
笔记
MidJourney中文版1 小时前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
王上上2 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案2 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer2 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享2 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost