NGPT:在超球面上进行表示学习的归一化 Transformer在人工智能领域,神经网络架构的创新不断推动着技术的进步。最近,一篇名为 “NGPT: NORMALIZED TRANSFORMER WITH REPRESENTATION LEARNING ON THE HYPERSPHERE” 的研究论文引起了广泛关注。作者是 Ilya Loshchilov、Cheng - Ping Hsieh、Simeng Sun 和 Boris Ginsburg,他们来自 NVIDIA。这篇论文提出了一种新颖的神经网络架构 —— 归一化 Transformer(nGPT),它在超球