GPT-2（《Language Models are Unsupervised Multitask Learners》）是继GPT-1之后的第二个开源版本（考虑到技术滥用的担心只发布了mini版本），它的训练语料与参数比GPT-1多了一个数量级。正如题目，它是一个无监督、无领域知识调优的模型，然而在阅读理解、摘要生成、翻译、问答等方面可以超过多个领域下调优的已知模型。
模型
GPT-2是一个基于transformer的语言模型，在800万个网页上训练得到，它包含15亿参数。训练语料与参数数量都比GPT-1多了一个数量级。它仍使用GPT-1的模型，在此基础上做了少量调优：
- layer norm前置到每个block的输入
- 残差层参数使用层次N进行归一化（1/sqrt(N)
- 词表扩大到5w+
- 上下文词的数量从512->1024
- batch size扩大到512
效果
GPT-2显示了很强的zero-shot能力，它的效果超过了多个基于领域语料（例如wikipedia/news/books等）训练的模型。如下图所示：
下面给出了一些问答的例子：
