Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
红色的山茶花19 分钟前
YOLOv9-0.1部分代码阅读笔记-loss_tal.py边缘计算社区1 小时前
首个！艾灵参编的工业边缘计算国家标准正式发布游客5201 小时前
opencv中的各种滤波器简介一位小说男主1 小时前
编码器与解码器：从‘乱码’到‘通话’深圳南柯电子1 小时前
深圳南柯电子｜电子设备EMC测试整改：常见问题与解决方案Kai HVZ1 小时前
《OpenCV计算机视觉》--介绍及基础操作biter00881 小时前
opencv(15) OpenCV背景减除器（Background Subtractors）学习吃个糖糖1 小时前
35 Opencv 亚像素角点检测qq_529025292 小时前
Torch.gather