Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
fyakm6 分钟前
RNN的注意力机制：原理与实现（代码示例）金井PRATHAMA3 小时前
描述逻辑（Description Logic）对自然语言处理深层语义分析的影响与启示Rock_yzh3 小时前
AI学习日记——参数的初始化拆房老料4 小时前
Transformer推理优化全景：从模型架构到硬件底层的深度解析CiLerLinux4 小时前
第四十九章 ESP32S3 WiFi 路由实验七芒星20236 小时前
多目标识别YOLO :YOLOV3 原理Learn Beyond Limits7 小时前
Mean Normalization｜均值归一化byzy7 小时前
【论文笔记】VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous DrivingACERT3337 小时前
5.吴恩达机器学习—神经网络的基本使用C嘎嘎嵌入式开发7 小时前
(一) 机器学习之深度神经网络