深度学习系列——RNN/LSTM/GRU,seq2seq/attention机制

1、RNN/LSTM/GRU可参考:

https://zhuanlan.zhihu.com/p/636756912

(1)对于这里面RNN的表示中,使用了输入x和h的拼接描述,其他公式中也是如此

(2)各符号图含义如下

2、关于RNN细节,seq2seq以及attention机制的描述,参考:

https://zhuanlan.zhihu.com/p/28054589

注意:这里补充了对于RNN,UVW三个矩阵的使用细节,很多喜欢使用下面这张图

另外,seq2seq中decoder,attention的更新机制没有说清楚(其实就是梯度下降更新权重即可),若使用attention机制,则h0'没有说清楚(需要看下源码部分),对于lstm的h和c以及x序列没有说清楚(拼接后作为decoder每个lstm的输入)。

可以直接参考pytorch官方实践:

https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.htmlhttps://github.com/pytorch/tutorials/blob/main/intermediate_source/seq2seq_translation_tutorial.py

官方代码中,对于GPU模块的output和hidden说明如下

相关推荐
大鹏的NLP博客8 小时前
深度学习模型部署一致性验证规范
人工智能·深度学习
CIO_Alliance11 小时前
企业级AI化转型基础认知(2):大语言模型、RAG、Agent与微调核心概念一次厘清
人工智能·深度学习·机器学习·语言模型·ipaas·系统集成·企业cio联盟
微三云 - 廖会灵 (私域系统开发)12 小时前
电商推荐系统从0到1:协同过滤+深度学习双塔模型的架构演进与实时排序实践
人工智能·深度学习·架构
卡梅德生物科技小能手12 小时前
卡美德生物科普MMP9(基质金属蛋白酶9):细胞外基质重塑的关键调节因子
经验分享·深度学习·生活
AI人工智能+13 小时前
一种基于深度学习的高精度阿拉伯文OCR识别系统,有效提升了阿拉伯语文档的数字化处理效率
深度学习·计算机视觉·自然语言处理·ocr·阿拉伯文识别
大鹏的NLP博客14 小时前
深度学习模型 ONNX 与 RKNN 数值一致性校验通用技术报告
人工智能·深度学习
阳明山水16 小时前
销量预测2026:基础模型、Mamba架构与LLM融合的技术新范式
人工智能·深度学习·算法·机器学习·架构
程序喵大人16 小时前
解密 Transformer 的核心——注意力机制
人工智能·深度学习·transformer·注意力机制
咕泡科技16 小时前
Transformer 模型为何如此深刻地改变深度学习?
人工智能·深度学习·transformer
heroboyluck17 小时前
AI工程师第四课 - 深度学习入门
人工智能·python·深度学习·llama