摘要

结合外部知识是否有利于常识推理，同时保持预训练序列模型的灵活性，这仍然是一个悬而未决的问题。为了研究这个问题，我们开发了生成知识提示，它包括从语言模型中生成知识，然后在回答问题时提供知识作为额外输入。我们的方法不需要对知识集成进行特定任务的监督，也不需要访问结构化的知识库，但它提高了大规模、最先进的模型在四个常识推理任务上的性能，在数值常识（NumerSense）、一般常识（CommonsenseQA 2.0）和科学常识（QASC）基准上实现了最先进的结果。生成的知识提示突出了大规模语言模型作为外部知识的灵活来源，以改进常识推理。我们的代码可在github.com/liujch1998/GKP上获得。

1 引言

2 生成知识提示

3 实验设置

4 实验结果

5 相关工作

6 结论

我们介绍了生成知识提示，这是一种从语言模型中引出和整合知识的简单方法，可以提高常识推理任务的性能。特别是，我们通过提示一个语言模型来生成知识陈述，该模型具有特定任务的、人性化的、小样本的问题知识对演示。我们表明，只需在推理时插入知识，就可以对知识进行集成，而无需对知识集成模型进行微调。我们的方法在多个数据集上显示了有效性，在三个常识性推理任务上设置了新的技术状态，并在各种设置下工作。该方法的成功突出了语言模型作为常识推理的灵活、高质量知识的来源。