深度学习中“Transformer”怎么翻译为中文?

从功能来看,我觉得翻译成"归积"比较合适,与"卷积"对应

其中"归"指的是"归一化操作",例如LayerNorm、RMSNorm、GroupNorm,虽然最新有论文Transformers without Normalization,但这篇论文引入的DyT操作可以看成是一种简化的归一化操作;另外"归"还有一层含义是"归纳",而以Transformer为基础的大语言模型擅长对信息进行"归纳"

"积"类似"卷积"里的"积",泛指加权求和操作。Multi-Head Attention和FFN都可以看成是一种加权求和操作,前者作用于Time维度,后者作用于Channel维度。同时"积"还可以理解成积分,Transformer Decoder有点像t维度上的积分操作

相关推荐
Data-Miner3 小时前
面对 AI 大模型智能涌现,如何从技术层面保护好隐私与数据安全?
大数据·人工智能
hpoenixf4 小时前
当 AI 开始谈“买什么”,研究助手离投顾和交易还有多远?
人工智能
大模型真好玩4 小时前
如何让视频模型对你言听计从?结构化提示词助你生成电影级画面
人工智能·agent·deepseek
zhang133830890754 小时前
传统机械三杯式风速传感器易磨损冻堵?CG-88金属超声波风速风向传感器给出免运维方案
运维·服务器·网络·人工智能·自动化
特立独行的猫a4 小时前
会说确认叫车才下单-启元机器人官方滴滴打车技能源码详解
人工智能·机器人·技能·启元机器人
老金带你玩AI4 小时前
GPT-6.1 Terra上线:更便宜了,干活到底怎么样?
人工智能
会议咨询4 小时前
2027年电力电子、人工智能与大数据国际会议(PEABD 2027)
大数据·人工智能·电力电子
Jsundoku5 小时前
第五章 深度学习 -- 卷积神经网络
人工智能·深度学习·cnn
水如烟5 小时前
孤能子视角:SEP《人工智能的认识论》EIS读法·理解——理解幻觉与解压缩幻觉:同一缺口,两份报告
人工智能
冬奇Lab5 小时前
一天一个开源项目(第249篇):Hallmark —— 一个拒绝“AI 味”的设计 Skill,用 48 套材质主题和浏览器 Linter 约束编程助手
人工智能·开源·资讯