人工智能论文GPT-3（1）：2020.5 Language Models are Few-Shot Learners；摘要；引言；scaling-law近期的工作表明，在大量文本语料库上进行预训练，然后针对特定任务进行微调，可以在许多NLP任务和基准测试中取得实质性进展。虽然这种方法在架构上通常是与任务无关的，但仍然需要包含数千或数万示例的针对特定任务的微调数据集。相比之下，人类通常只需要几个示例或简单的说明就能执行新的语言任务——这是当前NLP系统仍难以做到的。在这里，我们展示了扩大语言模型规模可以极大地提高与任务无关、少量样本的性能，有时甚至能与先前的最先进的微调方法相媲美。具体来说，我们训练了GPT-3，这是一个拥有1750亿个参数的自回归语言模型