Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
AI医影跨模态组学6 小时前
Lancet Digital Health（IF=24.1）德国德累斯顿工业大学医学院：深度学习评估结直肠癌的基因型-表型相关性星恒随风6 小时前
从零开始理解 CNN（上）：为什么图像任务需要卷积神经网络？YOLO数据集集合6 小时前
滑坡智能识别｜遥感卫星无人机多源影像数据集｜深度学习语义分割开源基准星恒随风6 小时前
从零开始理解 CNN（下）：拆开卷积层、池化层、通道数和训练流程蔡俊锋6 小时前
AI时代，是时候越狱了有为少年6 小时前
深度学习中的隐式层羊羊小栈6 小时前
基于多时间序列模型和大语言模型的航海轨迹预测分析预警系统( LSTM、GRU、Transformer、CNN-LSTM、DLinear)chatexcel7 小时前
AI PPT 教程：基于旅游生活场景的提示词设计与生成流程寻道码路8 小时前
LangChain4j Java AI 应用开发实战（四）：提示词工程进阶 - 模板化与结构化 Prompt 设计Raink老师13 小时前
【AI面试临阵磨枪-70】Agent 系统如何做分布式调度、跨服务协作、故障恢复？