技术栈
encoder-decoder
AI领航者
2 个月前
人工智能
·
pytorch
·
深度学习
·
语言模型
·
大模型
·
大语言模型
·
encoder-decoder
一文讲清楚,如何使用 PyTorch 创建的多步时间序列预测的 Encoder-Decoder 模型
前言 Encoder-decoder 模型在序列到序列的自然语言处理任务(如语言翻译等)中提供了最先进的结果。多步时间序列预测也可以被视为一个 seq2seq 任务,可以使用 encoder-decoder 模型来处理。本文提供了一个用于解决 Kaggle 时间序列预测任务的 encoder-decoder 模型,并介绍了获得前 10% 结果所涉及的步骤。
wyypersist
1 年前
transformer
·
detr
·
encoder-decoder
·
object query
·
ffn
·
giou
·
matching loss
DETR-《End-to-End Object Detection with Transformers》论文精读笔记
End-to-End Object Detection with Transformers 参考:跟着李沐学AI-DETR 论文精读【论文精读】
镰刀韭菜
1 年前
人工智能
·
自然语言处理
·
transformer
·
注意力机制
·
encoder-decoder
·
位置编码
【NLP】深入浅出全面回顾注意力机制
注意力指人可以关注一些信息的同时忽略其他信息的选择能力。根据注意力范围的不同,分为软注意力和硬注意力: