Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
Scc_hy9 分钟前
强化学习_Paper_1988_Learning to predict by the methods of temporal differences袁煦丞12 分钟前
【亲测】1.5万搞定DeepSeek满血版！本地部署避坑指南+内网穿透黑科技揭秘大模型真好玩14 分钟前
理论+代码一文带你深入浅出MCP：人工智能大模型与外部世界交互的革命性突破遇码27 分钟前
大语言模型开发框架——LangChain在狂风暴雨中奔跑27 分钟前
使用AI开发Android界面飞哥数智坊29 分钟前
AI编程实战：30分钟实现Web 3D船舶航行效果誉鏐32 分钟前
从零开始设计Transformer模型（1/2）——剥离RNN，保留AttentionAi野生菌33 分钟前
工具介绍 | SafeLLMDeploy教程来了 保护本地LLM安全部署契合qht53_shine39 分钟前
OpenCV 从入门到精通（day_05）3DVisionary1 小时前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究