跟李沐学AI:长短期记忆网络LSTM

输入们、遗忘门和输出门

LSTM引入输入门、忘记门和输出门

输入门计算公式为:。

遗忘门计算公式为:。

输出门计算公式为:。

它们由三个具有sigmoid激活函数的全连接层处理, 以计算输入门、遗忘门和输出门的值。 因此,这三个门的值都在(0,1)的范围内。

候选记忆元

类似RNN中的,计算公式为:。

记忆元

LSTM中,输入门和遗忘门类似GRU中控制输入或遗忘的机制。输入们用于控制采用多少来自的新数据,遗忘门用于控制保留多少过去的记忆元的内容。随后按元素乘法,得出。

如果遗忘门始终为1且输入门始终为0, 则过去的记忆元Ct−1 将随时间被保存并传递到当前时间步。 引入这种设计是为了缓解梯度消失问题, 并更好地捕获序列中的长距离依赖关系。

隐状态

LSTM中,输出门用于计算隐状态:。只要输出门接近1,我们就能够有效地将所有记忆信息传递给预测部分, 而对于输出门接近0,我们只保留记忆元内的所有信息,而不需要更新隐状态。

相关推荐
螺丝钉tina13 小时前
[Playwright] [21][AI] 千问生成测试的完整 mini demo
人工智能
高洁0114 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
Forget the Dream14 小时前
Spring AI 2.0 系列(三):ChatClient 与 ChatModel:Spring AI 2.0 的两层职责
java·人工智能·spring·springai
syso_稻草人14 小时前
qwen-image-2.1 姿态控制拆解:SDPose 提骨架 + Fun-ControlNet-Union 锁姿势,换人换景不换姿势
人工智能·stable diffusion·prompt·提示词优化·qwen-image
Baihai_IDP14 小时前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
数字融合14 小时前
透明化视频动态三维重建空间数据零核心技术
人工智能·python·virtualenv
谙弆悕博士14 小时前
多智能体架构详解:黑板共享架构(共享存储交互型)
人工智能·架构·大模型·agent·多智能体·黑板架构·anggraph
AI创界者14 小时前
Python 进阶实战(五十四章):大模型推理网关终极架构——分布式全局前缀 Trie 缓存同步与多网关高可用协同调度
人工智能·python·aigc
后端小肥肠15 小时前
公众号里流量很夯的漫画赛道:趣味漫画创作全拆解
人工智能·aigc·agent
程序油菜花15 小时前
微软 ONNX Runtime 仓库突然 404:你的项目,可能并不真正属于你
人工智能