Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
2401_8414956434 分钟前
【自然语言处理】轻量版生成式语言模型GPT梵得儿SHI39 分钟前
（第三篇）Spring AI 基础入门：PromptTemplate 与对话工程实战（从字符串拼接到底层模板引擎的进阶之路）Yolo566Q1 小时前
OpenLCA生命周期评估模型构建与分析是Yu欸1 小时前
【博资考5】网安2025云和数据.ChenGuang1 小时前
tensorflow生成随机数和张量Bony-1 小时前
糖尿病预测多个机器学习维度预测EVERSPIN1 小时前
什么是离线语音识别芯片（离线语音识别芯片有哪些优点）倦王1 小时前
Pytorch 预训练网络加载与迁移学习基本介绍科技峰行者1 小时前
微软与OpenAI联合研发“Orion“超大规模AI模型：100万亿参数开启“科学家AI“新纪元拓端研究室2 小时前
2025母婴用品双11营销解码与AI应用洞察报告|附40+份报告PDF、数据、绘图模板汇总下载