【HUAWEI】HCIP-AI-MindSpore Developer V1.0 | 第一章 神经网络基础( 3 循环神经网络 ) | 学习笔记

目录

[第一章 神经网络基础](#第一章 神经网络基础)

[3 循环神经网络](#3 循环神经网络)

[▲ 循环神经网络简介](#▲ 循环神经网络简介)

标准RNN结构

多层双向循环神经网络

BPTT反向传播求导

标准RNN结构的问题

[▲ 循环神经网络应用](#▲ 循环神经网络应用)

[▲ 循环神经网络变种](#▲ 循环神经网络变种)

长短期记忆网络

GRU



第一章 神经网络基础

3 循环神经网络

▲ 循环神经网络简介

循环神经网络( Recurrent Neural Network ,简称 RNN )是一种通过隐藏层节点周期性 的连接,来捕捉++++序列化++++数据中动态信息的神经网络,可以对序列化的数据进行分类。

标准RNN结构
多层双向循环神经网络
BPTT反向传播求导
标准RNN结构的问题

解决了信息记忆的问题,但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信息。

基本的循环神经网络存在梯度爆炸和梯度消失问题,并不能真正的处理好长距离的依赖。如下:

▲ 循环神经网络应用

循环神经网络的应用

▲ 循环神经网络变种

长短期记忆网络

长短期记忆网络( Long Short Term Memory , LSTM ):一种特殊的 RNN 类型,可以学习长期依赖信息。

LSTM 的记忆单元和标准 RNN 一样,负责记录之前的信息 。

遗忘门结构通过分析上一时刻的输出,和当前时刻的输入,计算出遗忘系数 。

输入门结构通过分析上一时刻的输出,和当前时刻的输入,计算出输入系数和需要新记忆的内容。

信息更新

输出门

GRU

****门控循环单元( Gated Recurrent Unit , GRU )****是简化版的 LSTM 。因为 LSTM 中,遗忘门和输入门的关系互补,所以 GRU 用一个门代替。

在 LSTM 中引入了三个门函数: ++++输入门++++ 、 ++++遗忘门++++ 和 ++++输出门++++ 来控制输入值、记忆值和输出值。

在 GRU 模型中只有两个门:分别是 ++++更新门++++ 和 ++++重置门++++。

说明:本文内容来源于网络,仅作为学习用途,如有侵权,请联系作者删除。

相关推荐
网易云信20 分钟前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
Be for thing1 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七1 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下1 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术1 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀1 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link2 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
阿里云大数据AI技术2 小时前
从“扫文件”到“找数据行”:EMR Serverless StarRocks 支持 Paimon Global Index
人工智能
武子康2 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
保利威视频SaaS小张2 小时前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv