深度学习中“Transformer”怎么翻译为中文?

从功能来看,我觉得翻译成"归积"比较合适,与"卷积"对应

其中"归"指的是"归一化操作",例如LayerNorm、RMSNorm、GroupNorm,虽然最新有论文Transformers without Normalization,但这篇论文引入的DyT操作可以看成是一种简化的归一化操作;另外"归"还有一层含义是"归纳",而以Transformer为基础的大语言模型擅长对信息进行"归纳"

"积"类似"卷积"里的"积",泛指加权求和操作。Multi-Head Attention和FFN都可以看成是一种加权求和操作,前者作用于Time维度,后者作用于Channel维度。同时"积"还可以理解成积分,Transformer Decoder有点像t维度上的积分操作

相关推荐
武子康11 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea11 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen11 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷12 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘12 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术12 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
AllData公司负责人13 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界13 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术13 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和13 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能