这篇文章最初发表在 NVIDIA 技术博客上。
NVIDIA 最近宣布了 NVIDIA NeMo SteerLM 技术，它是 NVIDIA NeMo 的一部分。此技术允许用户在推理期间控制大型语言模型（LLM）的响应。开发者社区对使用此方法构建自定义 LLM 表现出极大的兴趣。
NVIDIA NeMo 团队目前正在开源一个名为 Helpfulness SteerLM 数据集（HelpSteer）的资源。有了这个新资源，开发者可以迅速开始利用 SteerLM 技术，并构建先进的自定义模型。
HelpSteer 是我们团队与 Scale AI 之间的协作成果。它与 SteerLM 技术相结合，提高了响应的真实性和一致性。现在，开发者可以根据复杂性和详细程度等其他属性来指导 LLM 响应，并增强最终用户响应的整体可控性。
通过使用此新数据集和 SteerLM 技术，NVIDIA 训练了一个 Llama 2 70B 基础模型，该模型在性能上优于 Llama 2-70B 聊天模型。它在 MT 工作台 和 TruthfulQA MC2 基准测试中表现出色。
我们来深入探讨如何构建此数据集。
收集高质量的人类反馈
我们收集了大约 1 万条高质量提示，并使用内部 LLM 为每个提示生成了 4 条回复。Scale AI 随后聘请了人类专家，以 0 -- 4 的比例评估每个回应。Scale 的生成式 AI 数据引擎结合了自动化与人类智能，快速生成针对特定 AI 目标和数据需求定制的训练数据。
数据集中的所有响应均根据五个属性进行标注，即：
- **帮助：**评估响应在多大程度上满足了提示的要求。
- **正确性：**反应内容是否包含准确且相关的信息，没有产生幻觉或虚假信息。
- **一致性：**响应的清晰度、逻辑性和一致性。
- **复杂性：**词汇量和句子结构的复杂程度（从基础到专家水平）。
- **详细程度：**响应内容的简洁或详细程度，相对于提示符的要求。
我们选择这些属性来补充 OpenAssistant (用于训练原始 SteerLM 模型的数据集)中的属性。
数据集样本具有以下结构：
python
### Prompt
What is the spiciest chili in the world? Is it a type of chili or made from another ingredient?
### Response 1
The spiciest chili in the world is the Carolina Reaper. It is a type of chili that is made from the chili pepper variety.
### Label 1
helpfulness:1,correctness:1,coherence:3,complexity:1,verbosity:1
### Response 2
The spiciest chili in the world is the Carolina Reaper, which is a type of chili pepper. It was created by a man named Ed Currie and is a cross between a Ghost Pepper and a Red Habanero. It is known for its extreme heat, which is measured at over one million Scoville units. The Carolina Reaper is made from a chili pepper that has been selectively bred for its high levels of capsaicin, the compound that gives chili peppers their spicy heat. While it is not made from any other ingredient, some people may add it to other ingredients to make a spicy sauce or salsa.
### Label 2
helpfulness:4,correctness:4,coherence:4,complexity:2,verbosity:2使用此数据集训练的 LLM 在事实方面更加正确，且响应更加一致，这使得它们在客户服务、教育等多个行业中更具帮助。用户还可以在推理时调整语言模型的首选复杂性和详细程度。
例如，开发者可以构建 LLM，向中学生或母语不是英语的人解释美国历史等复杂主题，所有这些都只需一次自定义运行即可。
Lama2-70B-SteerLM -- 聊天评估结果
使用 HelpSteer 数据集以及 SteerLM 技术训练的 Llama 2-70B 基础模型在多个基准测试中的表现优于 Llama 2 -- 70B 聊天模型。
下表比较了两个模型在两个热门基准测试中的性能指标：MT 工作台 和 TruthfulQA MC2。分数越高表示性能越好，这意味着与 Lama 2-70B 聊天模型相比，SteerLM 模型在实用性和真实性方面表现更佳。
| 基准测试 | Lama 2-70B 聊天 | Lama2-70B-SteerLM 聊天 |
| MT 工作台 | 6.86 | 7.54 |
| TruthfulQA MC2 | 0.528 | 0.561 |
表 1.在 MT Bench 和 TruthfulQA MC2 基准测试中，对 Llama 2-70B 聊天模型和 Llama2 -- 70B-SteerLM-Chat 模型的比较
在图 1 中，我们观察到，在 MT Bench 的大多数类别中，Lama2-70B-SteerLM-Chat 模型的表现优于 Lama 2 -- 70B 聊天模型。
图 1.与 Lama 2 70B 聊天相比，Lama2-70B-SteerLM 聊天在每个类别的 MT Bench 中的分数
Lama2-70B-SteerLM-Chat 模型响应
我们来看看此 SteerLM 模型的一些示例。对于相同的提示，该模型根据不同的复杂程度提供了不同的响应。开发者可以使用相同的模型，并在推理时针对不同的用例对其进行定制。
vbnet
Prompt
Can we travel at the speed of light?
Low-Complexity Response
'No, it is not possible to travel at the speed of light. The speed of light is a fundamental constant of nature and is the maximum speed at which information can be transmitted in a vacuum. According to our current understanding of physics, it is not possible for any matter or energy to reach or exceed the speed of light.'
High-Complexity Response
According to our current understanding of physics, it is not possible to travel at the speed of light. This is because as an object approaches the speed of light, its mass would increase infinitely, making it impossible to reach the speed of light. This effect is described by Einstein's theory of relativity and is known as the "mass-energy equivalence. Additionally, as an object approaches the speed of light, its length would contract and time would slow down, making it impossible to reach the speed of light from an observer's perspective. Therefore, it is currently believed that it is not possible for any material object to travel at the speed of light, and the speed of light is considered to be the upper limit for the speed of any matter or energy in the universe.了解详情
如需详细了解 HelpSteer 数据集以及如何使用 NeMo 框架和 SteerLM 技术训练自定义 LLM，
- 您可以直接在浏览器上体验 Llama2-70B-SteerLM-Chat 模型，详情请访问 NVIDIA NGC 目录
- 在 ArXiv 上阅读提交的技术论文
- 从 HuggingFace 下载数据集
- 阅读关于使用 SteerLM 构建自定义 LLM 的教程