【NLP】大语言模型基础之GPTOpenAI公司在2018年提出的生成式预训练语言模型（Generative Pre-Training, GPT）是典型的生成式预训练语言模型之一。GPT的模型结构如下所示： 它是由多层Transformer组成的单向语言模型，主要分为输入层、编码层和输出层三部分。直观上如下图所示： GPT 使用 Transformer的 Decoder 结构，并对 Transformer Decoder 进行了一些改动，原本的 Decoder 包含了两个 Multi-Head Attention 结构，GPT 只保留了