【LSTM和GRU极简,和最新的TT也就是状态】机器学习模型来学习状态

LSTM(长短期记忆网络)中的关键参数包括输入门、遗忘门、输出门、细胞状态和隐藏状态。以下是如何进行推理计算的示例:

LSTM参数和公式

  1. 输入门(i_t) :决定输入的信息量。

  2. 遗忘门(f_t) :决定遗忘上一个状态的信息量。

  3. 细胞状态(C_t) :存储长期信息。

  4. 输出门(o_t) :决定输出的信息量。

  5. 隐藏状态(h_t) :输出短期记忆。

推理计算示例

假设我们有以下输入数据和参数:

计算步骤

总结:训练所得四个权重,然后不停的更新状态,遗忘并输出

GRU 少了门,更新,重置,状态 3个权重。

相关推荐
余槐i21 分钟前
近期技术热点:从异常现象到根因定位的完整排查
人工智能·深度学习·机器学习
Mister Leon34 分钟前
Nvidia Orin AGX实战之从量化到蒸馏:在 Orin 上落地的大模型压缩实战
人工智能·算法·机器学习
东方佑1 小时前
用先验重构线性注意力:为什么它至少比普通线性注意力更接近标准注意力
人工智能·机器学习·重构
中年阿甘1 小时前
Kendall秩相关系数的意义与计算实现
机器学习
Shockang1 小时前
2500万参数字节级 Transformer:CPU 训练的结构与评估
机器学习
Jsundoku3 小时前
第三章 机器学习 -- 特征工程
人工智能·机器学习
Rocky Ding*12 小时前
FLUX 3 Image Klein 技术解析:5.6B 生成器、Flow Map 蒸馏与 ComfyUI 可控编辑
论文阅读·人工智能·深度学习·机器学习·aigc·flux·ai-native
workflower12 小时前
Agentic AI 时代的企业ICT 基础设施运维
运维·人工智能·机器学习·重构·云计算·汽车
德林恩宝13 小时前
On-Policy Distillation(OPD)学习文档
人工智能·学习·机器学习·大模型·llm·大模型微调
a puppy slide 葱13 小时前
ENAS | 基于参数共享的高效神经网络架构搜索
论文阅读·人工智能·深度学习·神经网络·机器学习·计算机视觉·神经网络架构搜索