Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
本本的小橙子9 分钟前
第十三周：机器学习程序员阳哥shen16161115 分钟前
短视频矩阵系统源码部署开发分享一尘之中27 分钟前
Windows开发工具使用技巧悟兰因w29 分钟前
神经网络（五）：U2Net图像分割网络5pace30 分钟前
PyTorch深度学习快速入门教程【土堆】神经网络篇sp_fyf_202437 分钟前
[大语言模型-论文精读] MoRAG - 基于多部分融合的检索增强型人体动作生成悟兰因w38 分钟前
神经网络（四）：UNet图像分割网络君莫笑∽GL42 分钟前
机器学习（5）：机器学习项目步骤（二）——收集数据与预处理天蓝蓝2352842 分钟前
机器学习中的元强化学习奇客软件1 小时前
想要编辑 PDF 文件？使用这 10 种最佳 PDF 编辑工具