深度学习中“Transformer”怎么翻译为中文?

从功能来看,我觉得翻译成"归积"比较合适,与"卷积"对应

其中"归"指的是"归一化操作",例如LayerNorm、RMSNorm、GroupNorm,虽然最新有论文Transformers without Normalization,但这篇论文引入的DyT操作可以看成是一种简化的归一化操作;另外"归"还有一层含义是"归纳",而以Transformer为基础的大语言模型擅长对信息进行"归纳"

"积"类似"卷积"里的"积",泛指加权求和操作。Multi-Head Attention和FFN都可以看成是一种加权求和操作,前者作用于Time维度,后者作用于Channel维度。同时"积"还可以理解成积分,Transformer Decoder有点像t维度上的积分操作

相关推荐
董员外1 小时前
RAG 系统进化论(八):Agentic RAG(智能体式 RAG),从回答问题到完成任务
人工智能·后端·设计模式
阿里云大数据AI技术1 小时前
淘天集团基于 Fluss、Paimon 与 StarRocks 构建湖流一体数据链路
大数据·人工智能·flink
六边形战士DONK2 小时前
15-参数的点估计方法[矩估计,极大似然估计]
人工智能·机器学习·概率论
RFID固定资产管理系统2 小时前
适配媒体行业的固定资产管理软件有哪些功能与核心优势
大数据·人工智能·python·媒体
575772 小时前
GEO效果监测实战:用第三方工具交叉验证AI提及率
人工智能·chatgpt
AndrewHZ2 小时前
【LLM技术全景】阶段总结:技术原理篇核心知识回顾
人工智能·深度学习·算法·语言模型·大模型·llm·芯片开发
古一木2 小时前
opencv 形态学操作
人工智能·opencv·计算机视觉
KK不Battle2 小时前
AI 配图缺的不是模型,是工程:开源 skill social-illustrator 上手教程
人工智能
2601_963749103 小时前
越华环保集团污水监测云边协同架构:数字化污水治理Modbus-MQTT链路实现方案
人工智能·架构