Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
jndingxin15 分钟前
OpenCV 图形API（67）图像与通道拼接函数-----水平拼接（横向连接）两个输入矩阵（GMat 类型）函数concatHor()OpenLoong 开源社区17 分钟前
技术视界 | 数据的金字塔：从仿真到现实，机器人学习的破局之道声网17 分钟前
ElatoAI：开源 ESP32 AI 语音 AI 玩具方案；凯叔推出 AI 故事玩偶「鸡飞飞」丨日报崔高杰28 分钟前
On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其二——数学计算部分有Li30 分钟前
基于强化学习的用于非刚性图像配准的引导式超声采集|文献速递-深度学习医疗AI最新文献每天都要写算法（努力版）31 分钟前
【神经网络与深度学习】两种加载 pickle 文件方式（joblib、pickle）的差异制冷男孩34 分钟前
机器学习算法-支持向量机SVM结冰架构40 分钟前
人工智能大语言模型与AI芯片新进展：技术演进与商业化路径小研学术1 小时前
如何开展有组织的AI素养教育？中杯可乐多加冰1 小时前
CloudFront VPC Origins 实践流程深入解析 —— 安全高效架构的实战之道