encoder-decoder

Shannon@2 天前
人工智能·深度学习·transformer·encoder-decoder·transformer架构·自回归生成·top-p采样
Transformer架构解析：Encoder与Decoder核心差异、生成式解码技术详解Transformer是一种Encoder-Decoder架构，主要有Encoder:负责对输入序列进行特征提取，得到一系列隐藏向量表示
AI领航者9 个月前
人工智能·pytorch·深度学习·语言模型·大模型·大语言模型·encoder-decoder
一文讲清楚，如何使用 PyTorch 创建的多步时间序列预测的 Encoder-Decoder 模型前言 Encoder-decoder 模型在序列到序列的自然语言处理任务（如语言翻译等）中提供了最先进的结果。多步时间序列预测也可以被视为一个 seq2seq 任务，可以使用 encoder-decoder 模型来处理。本文提供了一个用于解决 Kaggle 时间序列预测任务的 encoder-decoder 模型，并介绍了获得前 10% 结果所涉及的步骤。
wyypersist2 年前
transformer·detr·encoder-decoder·object query·ffn·giou·matching loss
DETR-《End-to-End Object Detection with Transformers》论文精读笔记End-to-End Object Detection with Transformers 参考：跟着李沐学AI-DETR 论文精读【论文精读】
镰刀韭菜2 年前
人工智能·自然语言处理·transformer·注意力机制·encoder-decoder·位置编码
【NLP】深入浅出全面回顾注意力机制注意力指人可以关注一些信息的同时忽略其他信息的选择能力。根据注意力范围的不同，分为软注意力和硬注意力：