Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
ai产品老杨1 小时前
打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程的智慧工业开源了小陈phd2 小时前
高级RAG策略学习（五）——llama_index实现上下文窗口增强检索RAG凯禾瑞华养老实训室3 小时前
人才教育导向下：老年生活照护实训室助力提升学生老年照护服务能力湫兮之风4 小时前
Opencv: cv::LUT()深入解析图像块快速查表变换Christo35 小时前
TFS-2018《On the convergence of the sparse possibilistic c-means algorithm》qq_508823405 小时前
金融量化指标--2Alpha 阿尔法黑金IT5 小时前
`.cursorrules` 与 `.cursorcontext`：Cursor AI 编程助手时代下的“双轨配置”指南dlraba8026 小时前
基于 OpenCV 的信用卡数字识别：从原理到实现IMER SIMPLE6 小时前
人工智能-python-深度学习-经典神经网络AlexNet小憩-8 小时前
【机器学习】吴恩达机器学习笔记