GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型。它由OpenAI开发，并于2018年首次发布。GPT的目标是通过大规模的无监督学习来学习语言的统计规律和语义表示，从而能够生成自然流畅的文本。
GPT的第一个版本是GPT-1，在发布时采用了12层的Transformer架构，并使用了40亿个参数进行训练。它通过预测下一个单词的方式进行训练，从而学习上下文和语义信息。GPT-1在多个语言任务上表现出色，并在生成文本方面具有很高的创造力。
之后，OpenAI推出了GPT-2，这是一个更大规模的模型，拥有1.5亿到15亿个参数。GPT-2的训练数据集覆盖了互联网上的大量文本，使得它能够生成更加富有创造力和连贯性的文本。GPT-2在生成文本的质量和多样性方面取得了显著的提升，引起了广泛的关注。GPT-2是在2019年发布的。
最新版本的GPT是GPT-3，它于2020年发布。GPT-3是迄今为止最大规模的模型，拥有1750亿个参数。它在自然语言处理和文本生成方面的能力达到了前所未有的水平，可以完成诸如翻译、对话、文章写作等任务。GPT-3的发布引起了广泛的讨论和应用探索，被认为是人工智能领域的里程碑之一。GPT-3是在2020年发布的。