MMoE学习笔记：利用门控专家网络高效建模多任务关系渍送韵灾2.1 DeepSeek V3.2自问世以来，Transformer架构始终是大语言模型（LLM）发展中无可争议的核心引擎。其关键创新——自注意力机制，赋予模型捕捉海量数据序列中长距离依赖与上下文细微差别的卓越能力。然而这种强大能力伴随着愈发高昂的代价：标准自注意力机制的计算与内存复杂度高达O(L2)（L为输入序列长度）。这种二次方增长特性意味着上下文长度每增加一倍，所需计算资源将增长四倍，这为处理现代AI应用所需的持续扩张的信息库（如长文档分析、扩展对话、大规模代码库解析）筑起了巨大屏障。这种“