性能高于Transformer模型1.7-2倍，彩云科技发布基于DCFormer架构通用大模型云锦天章2017年，谷歌发布《Attention Is All You Need》论文，首次提出Transformer架构，掀开了人工智能自然语言处理（NLP）领域发展的全新篇章。Transformer架构作为神经网络学习中最重要的架构，成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。而提升Transformer的运行效率也成为人工智能领域的研究热点，2024年4月，谷歌最近一次更新了Transformer架构，提出了Mixture-of-Depths（MoD）方法，使得训练后采样