摘要

随着大型语言模型的改进，人们对利用这些模型的能力来完善其自身输出的技术越来越感兴趣。在这项工作中，我们介绍了Shepherd，这是一个专门针对批评模型响应和建议改进的语言模型，它超越了未经编辑的模型的能力，可以识别各种错误并提供补救建议。我们方法的核心是一个高质量的反馈数据集，我们根据社区反馈和人类注释对其进行策划。尽管Shepherd很小（7B参数），但它的批评与包括ChatGPT在内的已建立模型的批评是等效的或首选的。使用GPT4进行评估，与竞争对手相比，Shepherd的平均胜率为53-87%。在人类评估中，Shepherd严格优于其他模型，平均而言与ChatGPT密切相关。

1 引言

2 数据收集

3 Shepherd模型

4 评估反馈

5 结果

6 相关工作

7 结论

我们引入了一个新的模型来批评大型语言模型的生成。通过在多个数据集和不同的评估设置上进行广泛的实验，我们证明了我们的模型可以有效地评判答案，达到与ChatGPT相当的性能。随着LLM在越来越多的现实应用中被采用，我们认为开发自动机制来检查模型生成是很重要的。我们的批判模型Shepherd可以非常有助于提高生成质量和减少幻觉。

不足

在本文中，我们通过自动评估和人的评估来评估模型的批判能力。尽管我们努力尝试大量的数据示例，并尽我们最大的财力使用人工注释器，但很明显，该论文可以从进一步的增强中受益。这可以通过执行更细致的分析来实现，该分析使用了更多的注释器和更广泛的各种任务。