机器学习-时序预测2

门控循环单元GRU

接着机器学习-时序预测1-CSDN博客这个说,GRU是LSTM的一个简化而高效的变体,都使用"门控机制"来控制信息流,但它通过合并一些组件,使结构更简单、参数更少、计算更快,同时在许多任务上性能与 LSTM 相当甚至更好。

GRU没有了独立的细胞状态,也就是LSTM中的长期记忆,只有一个状态,但是通过"门控机制",让同时承担了长期和短期记忆的功能。而且只剩下了两个核心门控:

更新门,用sigmoid激活函数输出0-1的向量,中每个元素表示多少信息来自,多少信息来自

重置门,用sigmoid激活函数输出0-1的向量,中每个元素表示计算时考虑多少

候选隐藏状态,用到了重置门;

更新最终隐藏状态,用到了更新门,更新门决定了更相信过去还是现在。

同样的,还需要在输出层中对输出进行更新,就像机器学习-时序预测1-CSDN博客

相关推荐
Dylan~~~7 分钟前
AI Coding工具记忆功能深度解析:让AI真正“记住“你的项目
人工智能
智算菩萨11 分钟前
【How Far Are We From AGI】5 AGI的“道德罗盘“——价值对齐的技术路径与伦理边界
论文阅读·人工智能·深度学习·ai·接口·agi·对齐技术
lisw0513 分钟前
用于实时数据处理的边缘计算!
人工智能·机器学习·边缘计算
全栈开发圈14 分钟前
干货分享|R语言聚类分析2
人工智能·机器学习·r语言
Sakuraba Ema18 分钟前
从零理解 MoE(Mixture of Experts)混合专家:原理、数学、稀疏性、专家数量影响与手写 PyTorch 实现
人工智能·pytorch·python·深度学习·数学·llm·latex
shangjian00727 分钟前
AI-大语言模型-模型训练-数据集1-总述
人工智能·机器学习·语言模型
柯儿的天空30 分钟前
【OpenClaw 全面解析:从零到精通】第 006 篇:OpenClaw 在 Windows/WSL2 上的安装与部署实战
人工智能·windows·语言模型·chatgpt·ai作画
freewlt42 分钟前
科技热点速递:AI技术集中爆发
人工智能·深度学习·计算机视觉
驕傲的兎孒43 分钟前
基于 SpringBoot + Vue3 + AI 打造企业级售后服务支持平台 | 实战方案分享
人工智能·spring boot·后端
guoji778843 分钟前
2026年AI编程辅助实战:国内镜像站如何使用Claude提升开发效率?
人工智能·ai编程