Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
panpantt3216 分钟前
【参会邀请】第二届大数据与数据挖掘国际会议（BDDM 2024）邀您相聚江城！lindsayshuo14 分钟前
jetson orin系列开发版安装cuda的gpu版本的opencv向阳逐梦14 分钟前
ROS机器视觉入门：从基础到人脸识别与目标检测陈鋆40 分钟前
智慧城市初探与解决方案qdprobot40 分钟前
ESP32桌面天气摆件加文心一言AI大模型对话Mixly图形化编程STEAM创客教育QQ395753323741 分钟前
金融量化交易模型的突破与前景分析QQ395753323742 分钟前
金融量化交易：技术突破与模型优化The_Ticker1 小时前
CFD平台如何接入实时行情源Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持jwolf21 小时前
摸一下elasticsearch8的AI能力：语义搜索/vector向量搜索案例