机器学习-时序预测2

门控循环单元GRU

接着机器学习-时序预测1-CSDN博客这个说,GRU是LSTM的一个简化而高效的变体,都使用"门控机制"来控制信息流,但它通过合并一些组件,使结构更简单、参数更少、计算更快,同时在许多任务上性能与 LSTM 相当甚至更好。

GRU没有了独立的细胞状态,也就是LSTM中的长期记忆,只有一个状态,但是通过"门控机制",让同时承担了长期和短期记忆的功能。而且只剩下了两个核心门控:

更新门,用sigmoid激活函数输出0-1的向量,中每个元素表示多少信息来自,多少信息来自

重置门,用sigmoid激活函数输出0-1的向量,中每个元素表示计算时考虑多少

候选隐藏状态,用到了重置门;

更新最终隐藏状态,用到了更新门,更新门决定了更相信过去还是现在。

同样的,还需要在输出层中对输出进行更新,就像机器学习-时序预测1-CSDN博客

相关推荐
paid槮28 分钟前
深度学习复习汇总
人工智能·深度学习
Light6037 分钟前
深度学习 × 计算机视觉 × Kaggle(上):从理论殿堂起步 ——像素、特征与模型的进化之路
人工智能·深度学习·计算机视觉·卷积神经网络·transformer·特征学习
天外飞雨道沧桑1 小时前
JS/CSS实现元素样式隔离
前端·javascript·css·人工智能·ai
深圳UMI1 小时前
UMI无忧秘书智脑:实现生活与工作全面智能化服务
大数据·人工智能
Antonio9151 小时前
【图像处理】图像形态学操作
图像处理·人工智能·opencv
Theodore_10221 小时前
机器学习(7)逻辑回归及其成本函数
人工智能·机器学习
AKAMAI1 小时前
Akamai与Bitmovin:革新直播与点播视频流服务
人工智能·云原生·云计算
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-54]:模型层技术 - 数据结构+算法 = 程序
数据结构·人工智能·算法
大千AI助手2 小时前
GELU(高斯误差线性单元)激活函数全面解析
人工智能·深度学习·神经网络·激活函数·正态分布·gelu·高斯误差线性单元
孤独野指针*P2 小时前
面向边缘AI视觉系统的低成本硬件方案
人工智能