【HUAWEI】HCIP-AI-MindSpore Developer V1.0 | 第一章 神经网络基础( 3 循环神经网络 ) | 学习笔记

目录

[第一章 神经网络基础](#第一章 神经网络基础)

[3 循环神经网络](#3 循环神经网络)

[▲ 循环神经网络简介](#▲ 循环神经网络简介)

标准RNN结构

多层双向循环神经网络

BPTT反向传播求导

标准RNN结构的问题

[▲ 循环神经网络应用](#▲ 循环神经网络应用)

[▲ 循环神经网络变种](#▲ 循环神经网络变种)

长短期记忆网络

GRU



第一章 神经网络基础

3 循环神经网络

▲ 循环神经网络简介

循环神经网络( Recurrent Neural Network ,简称 RNN )是一种通过隐藏层节点周期性 的连接,来捕捉++++序列化++++数据中动态信息的神经网络,可以对序列化的数据进行分类。

标准RNN结构
多层双向循环神经网络
BPTT反向传播求导
标准RNN结构的问题

解决了信息记忆的问题,但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信息。

基本的循环神经网络存在梯度爆炸和梯度消失问题,并不能真正的处理好长距离的依赖。如下:

▲ 循环神经网络应用

循环神经网络的应用

▲ 循环神经网络变种

长短期记忆网络

长短期记忆网络( Long Short Term Memory , LSTM ):一种特殊的 RNN 类型,可以学习长期依赖信息。

LSTM 的记忆单元和标准 RNN 一样,负责记录之前的信息 。

遗忘门结构通过分析上一时刻的输出,和当前时刻的输入,计算出遗忘系数 。

输入门结构通过分析上一时刻的输出,和当前时刻的输入,计算出输入系数和需要新记忆的内容。

信息更新

输出门

GRU

****门控循环单元( Gated Recurrent Unit , GRU )****是简化版的 LSTM 。因为 LSTM 中,遗忘门和输入门的关系互补,所以 GRU 用一个门代替。

在 LSTM 中引入了三个门函数: ++++输入门++++ ++++遗忘门++++ ++++输出门++++ 来控制输入值、记忆值和输出值

GRU 模型中只有两个门:分别是 ++++更新门++++ ++++重置门++++

说明:本文内容来源于网络,仅作为学习用途,如有侵权,请联系作者删除。

相关推荐
新智元10 分钟前
刚刚,苹果大模型团队负责人叛逃 Meta!华人 AI 巨星 + 1,年薪飙至 9 位数
人工智能·openai
Andy杨19 分钟前
20250707-4-Kubernetes 集群部署、配置和验证-K8s基本资源概念初_笔记
笔记·容器·kubernetes
Cyltcc25 分钟前
如何安装和使用 Claude Code 教程 - Windows 用户篇
人工智能·claude·visual studio code
吹风看太阳1 小时前
机器学习16-总体架构
人工智能·机器学习
moonsims2 小时前
全国产化行业自主无人机智能处理单元-AI飞控+通信一体化模块SkyCore-I
人工智能·无人机
MUTA️2 小时前
ELMo——Embeddings from Language Models原理速学
人工智能·语言模型·自然语言处理
海豚调度2 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
T__TIII2 小时前
Dify 插件非正式打包
人工智能
jerwey2 小时前
大语言模型(LLM)按架构分类
人工智能·语言模型·分类
IT古董2 小时前
【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(5)PyTorch 实战——使用 RNN 进行人名分类
pytorch·深度学习·神经网络