跟着StatQuest学知识08-RNN与LSTM

一、RNN

(一)简介

整个过程权重和偏置共享。

(二)梯度爆炸问题

在这个例子中w2大于1,会出现梯度爆炸问题。

当我们循环的次数越来越多的时候,这个巨大的数字会进入某些梯度,步长就会大幅增加 ,导致寻找最佳参数困难。另外会导致第一个输入的值影响越来越显著

(三)梯度消失问题

在这个例子中w2小于1,会出现梯度消失问题。

当我们循环的次数越来越多的时候,这个非常的数字会进入某些梯度,步长就会大幅减小,导致寻找最佳参数困难。

二、长短期记忆网络LSTM

(一)主要思想

不使用相同的反馈环连接,通过很久以前的事情和昨天的事情进行预测。而是使用两条独立的路径来对明天预测,一条用于长期记忆,另一条用于短期记忆。

(二)Sigmoid激活函数

(三)Tanh激活函数

(四)原理

第一阶段**"遗忘门"** :确定记住旧长期记忆的百分比,得出长期记忆值。

第二阶段:"输入门"

右边模块:将短期记忆和输入结合(权重×数值),创建潜在的长期记忆。旧长期记忆+潜在的长期记忆 = 新的长期记忆

左边模块:确定这个潜在记忆中的权重。

第三阶段**"输出门"** :更新短期记忆。( 新长期通过激活函数计算潜在短期数值,再×权重 = 新的短期记忆)

具体表现请看:【官方双语】LSTM(长短期记忆神经网络)最简单清晰的解释来了! 第14:30处。

为什么通过LSTM能解决梯度爆炸和梯度消失的问题?

相关推荐
jonyleek24 分钟前
如何搭建一套安全的,企业级本地AI专属知识库系统?从安装系统到构建知识体系,全流程!
人工智能·安全
MQ_SOFTWARE1 小时前
AI驱动的金融推理:Fin-R1模型如何重塑行业决策逻辑
人工智能·金融
生医转码,四海为家1 小时前
零基础-动手学深度学习-6.6 卷积神经网络(LeNet)
人工智能·深度学习·cnn
无名工程师1 小时前
AI 学习过程中各阶段的学习重点、时间规划以及不同方向的选择与建议等内容
人工智能·学习
WXX_s2 小时前
【OpenCV篇】OpenCV——03day.图像预处理(2)
人工智能·python·opencv·学习·计算机视觉
CoovallyAIHub2 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
深度学习·算法·计算机视觉
有才不一定有德2 小时前
深入剖析 MetaGPT 中的提示词工程:WriteCode 动作的提示词设计
人工智能·aigc·提示词工程
花月mmc3 小时前
CanMV-K230 AI学习笔记系列
人工智能·笔记·学习
s1ckrain3 小时前
【论文阅读】ON THE ROLE OF ATTENTION HEADS IN LARGE LANGUAGE MODEL SAFETY
论文阅读·人工智能·语言模型·大模型安全