自 2015 年 OpenAI 成立以来，它已经成为了人工智能领域的一股强大力量。OpenAI 的 GPT 模型（Generative Pre-trained Transformer），作为其最具代表性的技术之一，已经改变了自然语言处理（NLP）领域的面貌。本系列文章将回顾 GPT 模型的发展历程，分析其关键的技术突破和创新，以及探讨其对未来人工智能发展的影响。
GPT-4：智能进化
GPT-4 是OpenAI在扩大深度学习方面的最新里程碑。GPT-4是一个大型多模式模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的性能。
不同于之前几代GPT模型，我们对 GPT-4模型认知有限。GPT-4 技术报告侧重于 GPT-4 的功能、局限性和安全特性。可能是考虑到 GPT-4 等大型模型的竞争格局和安全影响，该报告不包含有关架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法或类似内容的进一步细节。
模型训练
可预测的扩展性（predictable scaling）
predictable scaling 是指在深度学习项目中，特别是在大型项目如 GPT-4 中，模型和基础设施在不同规模上表现出可预测的行为。这对于非常大的训练任务来说尤为重要，因为在这种情况下，对每个模型进行大量的模型特定调优并不可行。为了实现可预测的扩展性，研究人员开发了在多个尺度上具有可预测性的深度学习技术和优化方法。
在 GPT-4 项目中，OpenAI 开发了一些基础设施和优化方法，可以在不同大小的模型上预测这些方法的性能。这意味着可以使用较小的模型来预测 GPT-4 某些方面的性能，而不需要进行大规模的训练和调优。这种可预测的扩展性使得在开发和部署 GPT-4 时更加高效和可靠。
具体来说，GPT-4的可预测的扩展性包括以下方面：
- 构建适用于不同大小模型的深度学习技术栈：OpenAI开发了一些基础设施和优化方法，可以在不同大小的模型上预测这些方法的性能。这样就可以使用较小的模型来预测GPT-4某些方面的性能，从而提高开发效率。
- 预测性能指标：通过预测小模型的性能指标，可以推断大模型的性能表现。这种预测性能指标的方法使得在大规模训练任务中可以更好地预测和评估模型的性能。
- 提高训练过程的稳定性：GPT-4的训练过程非常稳定，loss值可以提前准确预测。这种稳定性使得训练过程更加可控和可预测。
强化学习(RLHF）微调
模型训练后的对齐过程使用来自人类反馈的强化学习(RLHF）进行微调，提高事实性测量和对期望行为的依从性。因此，它在各种专业和学术基准上表现出人类水平的表现，包括通过模拟的美国律师考试，属于分数在前 10% 左右的考生。
数据集
GPT-4具备更新近的世界知识，其外部文件和数据库的最新更新截至2023年4月。相比之下，GPT-4的前一代模型GPT-3的知识库更新截至2021年9月。这意味着GPT-4能够更好地了解当前的信息和事件，为用户提供更准确和实时的回答。
有消息称，GPT-4 的训练数据集包含约 13 万亿个 token，这些 token 是重复计算之后的结果，多个 epoch 中的 token 都计算在内。这个数据集的规模非常庞大，为GPT-4提供了丰富的语言和文本信息，使其具备强大的自然语言处理和文本生成能力。
性能
GPT-4 在各种基准测试中优于现有的语言模型和最先进的系统。
GPT-4整合了DALL・E3，使其具备了处理图像输入的能力。开发者可以通过GPT-4 Turbo with vision API来访问GPT-4与图像相关的功能。这使得GPT-4能够生成图像标题、分析现实世界的图像、阅读带图表的文件等。这一整合为用户提供了更多样化和丰富的应用场景。
局限性
尽管GPT-4 表现得更加智能，但与早期的 GPT 模型存在共同的局限性，包括不可靠性、事实幻觉和推理错误。与 GPT-3.5 相比，GPT-4 在减少幻觉方面有所改善，在事实性评估中得分高出 19 个百分点。
风险应对
为了评估和降低与 GPT-4 相关的风险，超过 50 名领域专家参与了对抗性测试。该测试解决了与生成有害建议、错误代码和不准确信息相关的问题，尤其是在需要专业知识的高风险领域。专家的反馈有助于模型的改进，例如增强 GPT-4 拒绝危险化学合成请求的能力。
即使在RLHF之后，模型也可能在安全和不安全输入上表现出不良行为。为了解决这个问题，引入了基于规则的奖励模型 （RBRM），以提供针对正确行为的额外奖励信号，包括拒绝有害内容和适当响应请求。
尽管有这些改进，但挑战依然存在，并且仍然有可能从模型中引出不良行为。"越狱"和对抗性系统消息可能会生成违反使用准则的内容。为了解决这个问题，强调了部署时安全技术和持续的模型改进。
意义
展望未来，GPT-4 正在突破 AI 所能实现的界限。它的进步标志着向更具交互性和直观性的人工智能系统的过渡，有助于在更深层次上理解上下文、细微差别和语义的人工智能的发展。GPT-4 的影响表明了人工智能彻底改变我们世界的潜力。随着我们继续探索这一潜力，GPT-4 就像一座灯塔，照亮了通往未来的道路，人工智能和人类合作应对世界上最紧迫的挑战并创造新的机会。