深度学习系列——RNN/LSTM/GRU,seq2seq/attention机制

1、RNN/LSTM/GRU可参考:

https://zhuanlan.zhihu.com/p/636756912

(1)对于这里面RNN的表示中,使用了输入x和h的拼接描述,其他公式中也是如此

(2)各符号图含义如下

2、关于RNN细节,seq2seq以及attention机制的描述,参考:

https://zhuanlan.zhihu.com/p/28054589

注意:这里补充了对于RNN,UVW三个矩阵的使用细节,很多喜欢使用下面这张图

另外,seq2seq中decoder,attention的更新机制没有说清楚(其实就是梯度下降更新权重即可),若使用attention机制,则h0'没有说清楚(需要看下源码部分),对于lstm的h和c以及x序列没有说清楚(拼接后作为decoder每个lstm的输入)。

可以直接参考pytorch官方实践:

https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.htmlhttps://github.com/pytorch/tutorials/blob/main/intermediate_source/seq2seq_translation_tutorial.py

官方代码中,对于GPU模块的output和hidden说明如下

相关推荐
追风哥哥27 分钟前
transformer 注意力机制解析
人工智能·深度学习·神经网络·机器学习·语言模型·chatgpt·transformer
xingyuzhisuan30 分钟前
4090部署DeepSeek-V3:CPU卸载层数实测指南
运维·深度学习·gpu算力
博士僧小星39 分钟前
人工智能|大模型——模型——大模型蒸馏详解(定义/原理/关键技术/落地)
人工智能·深度学习·机器学习·知识蒸馏·模型蒸馏
AI医影跨模态组学40 分钟前
Cancer Lett(IF=10.1)北京大学第一医院杨尹默等团队:基于深度学习的病理组学特征可独立于CA19-9预测胰腺导管腺癌的生存与复发
人工智能·深度学习
古希腊掌管代码的神THU1 小时前
【清华代码熊】RL后训练解析|Cursor Composer 2 技术报告
人工智能·深度学习·自然语言处理·composer
AI医影跨模态组学1 小时前
Cell Rep Med(IF=10.6)北京清华长庚医院李国新&云南省肿瘤医院放射科李振辉等团队:基于TME的深度学习模型预测胃癌治疗反应
人工智能·深度学习·医学·医学影像·医学科研
这张生成的图像能检测吗2 小时前
(论文速读)基于混合学习的边缘计算物联网系统操作视觉质量检测
人工智能·深度学习·物联网·智能制造·异常检测
龙腾AI白云2 小时前
深度学习实战:Transformer模型文本翻译应用
人工智能·深度学习
xu_wenming2 小时前
ESP32 运行TinyML模型准确性影响因素
人工智能·深度学习·机器学习
CDA数据分析师干货分享3 小时前
石油工程专业炼油厂一线岗位转行数据分析岗,CDA数据分析师二级学习经验
深度学习·学习·数据挖掘·数据分析·cda证书·cda数据分析师