公开课 | 2024最新清华大模型公开课 第4课 大模型学习方法

本文由readlecture.cn转录总结。ReadLecture专注于音、视频转录与总结，2小时视频，5分钟阅读，加速内容学习与传播。

大纲

• 引言

  • 介绍大模型的训练方法

  • 强调大模型在多领域的应用

• 大模型的训练阶段

  • 预训练过程

    • Tokenization的重要性

    • 预训练模型的历史发展

      • 从词向量到ELMO模型

      • Transformer模型的引入

  • 后训练过程

    • 对齐（alignment）和适配（adaptation）

    • 后训练的重要性

• 具体模型介绍

  • GPT系列

    • GPT-1的架构和训练方法

    • GPT-2的扩展和多任务能力

    • GPT-3的巨大参数和泛化能力

  • BERT模型

    • BERT的双向注意力机制

    • BERT的应用和效果

  • T5模型

    • T5的Text-to-Text格式

    • T5的编码器-解码器架构

• 语言建模的本质

  • 语言模型的基本原理

  • 语言模型的多任务学习能力

• 对齐和后训练

  • 对齐的重要性

  • 对齐的方法和挑战

• 参数高效的微调

  • Adapter方法

  • Prefix Tuning

  • LoRA方法

• 指令微调和偏好学习

  • 指令微调的概念

  • 偏好学习的实现方法

• 总结和未来展望

  • 大模型的当前状态

  • 未来的研究方向和挑战

内容总结

一句话总结

本文深入探讨了大模型的训练方法，包括预训练、后训练、具体模型的介绍、语言建模的本质、对齐和后训练、参数高效的微调、指令微调和偏好学习，以及未来的研究方向。

观点与结论

• 大模型通过预训练和后训练两个阶段，能够在多领域发挥作用。

• 语言建模的核心在于使用前面的标记（token）来预测下一个标记，这种能力可以扩展到多任务学习。

• 对齐和后训练是确保模型输出符合人类期望的关键步骤。

• 参数高效的微调方法，如Adapter、Prefix Tuning和LoRA，可以大幅降低微调所需的资源。

• 指令微调和偏好学习是当前大语言模型的核心能力，能够实现零样本泛化。

自问自答

1. 大模型的训练主要分为哪两个阶段？

   • 预训练过程和后训练过程。

2. 为什么大模型能在多领域发挥作用？

   • 因为任何信息都可以被转化为token，大模型处理的是token，而非单纯的语言。

3. 什么是语言建模的本质？

   • 使用前面的标记（token）来预测下一个标记。

4. 对齐和后训练的重要性是什么？

   • 确保模型输出符合人类期望，增强模型的稳定性和鲁棒性。

5. 参数高效的微调有哪些方法？

   • Adapter、Prefix Tuning和LoRA。

6. 指令微调和偏好学习的区别是什么？

   • 指令微调是通过增加上下文来描述任务，而偏好学习是通过人类反馈来优化模型输出。

关键词标签

• 大模型

• 预训练

• 后训练

• 语言建模

• 对齐

• 参数高效微调

• 指令微调

• 偏好学习

适合阅读人群

• 人工智能研究人员

• 机器学习工程师

• 数据科学家

• 计算机科学学生

术语解释

• Tokenization: 将文本或其他信息转化为离散单元（token）的过程。

• 预训练: 在大规模无监督语料上训练模型的过程。

• 后训练: 在有监督的数据上进一步训练模型的过程。

• 对齐: 调整模型输出以符合人类期望的过程。

• 参数高效微调: 使用较少资源更新模型参数的方法。

• 指令微调: 通过增加上下文来描述任务，使模型能够理解和执行。

• 偏好学习: 通过人类反馈来优化模型输出的过程。

视频来源

Lecture 4 大模型学习方法_哔哩哔哩_bilibili

讲座回顾

大家好，欢迎大家参加本次大模型暑期课程。今天我们将探讨大模型的训练方法。众所周知，当前的大模型数量远不止图示所示。

那么我们核心要讲清楚一个问题，即这些模型是如何训练的。实际上，它们主要经历了两个阶段：预训练过程和后训练过程。

我们需要先搞清楚一个问题：为什么大模型能在每个领域都发挥作用。实际上，不仅限于文本处理，尽管它被称为大语言模型，但它现在已广泛应用于多模态领域，包括音频、视频，以及医疗、金融和教育等行业。

• 大语言模型处理token而非单纯语言。

• 文本、图像、DNA、工具和电磁波等均可转化为token。

• 转化后的token可被学习和泛化，是大语言模型发挥作用的关键。

• 训练大语言模型时，首先进行tokenization，将信息转化为离散单元。

• 常用的tokenization方法包括BPE，采用分支结构处理。

他都能发挥作用。实际上，这基于一个非常基本的假设：任何信息都可以被转化为token。大语言模型处理的是token，而非单纯的语言。因此，文本、图像、DNA、工具和电磁波等都可以转化为token，这些token随后可以被学习和泛化。这就是大语言模型发挥重要作用的关键。在训练大语言模型时，第一步是进行tokenization，即将所需信息（如文本、图片等）转化为离散单元，然后送入模型中。有许多方法可以进行tokenization，例如常用的BPE方法，它采用类似分支的结构来处理。这些token将进一步被泛化。

• 早期NLP研究中的词向量是context-free的，即同一个词在不同语境下的向量表示相同。

• 词向量的context-free特性导致同一个词在不同语境下的不同含义无法区分。

• ELMO模型是第一个实现contextualized pre-training的模型，其词向量随上下文变化。

• ELMO模型的表示包括固定的词向量、每一层的表示加总形成的ELMO词向量。

• ELMO模型的特点是contextualized和deep，效果远超之前的固定词向量方法。

在大模型之前的NLP研究中，这些embeddings都经过了预训练。我们那时也有预训练，只不过我们训练的是所谓的词向量。这些词向量有一个非常大的特点，就是它们是context-free的，即同一个单词在不同语境下表示的向量是一样的，即使它有不同的含义。例如，"bank"既可以指银行，也可以指河岸，但它们的向量表示是一样的。这显然不合理，因为很多词在不同的句子中表达着不同的意思，可能不是词典中分割的意思，但也有可能是一些非常微妙的细小差别。因此，后来我们希望这些词向量或在大模型中的表示能随上下文变化，于是有了ELMO模型。ELMO是第一个发现contextualized pre-training的模型，即所有的词向量和表示都是随上下文变化的，每句话送进去后，其内部表示都不同。这里我们要训练的模型不仅仅是词向量，而是整个模型，其表示有三种：固定的词向量本身、每一层的表示加起来，形成一个ELMO词向量，但实际计算稍微复杂一些。ELMO模型是一个里程碑式的工作，它彻底打开了预训练模型的基础，contextualized pre-training从此开始。它的两个最大特点，一是contextualized，即所有词向量都由上下文决定；二是deep，即它非常深，由多个神经网络层结合而成，而不是之前可能只有一个简单的神经网络来训练词向量。其效果当时也非常好，远远超越了固定的词向量方法，如word2vec。2017年后，我们有了比LSTM更好的模型。

• Transformer模型采用自注意力架构，适合训练上下文相关的词向量。

• 每个Token在Transformer中都与其上下文相关。

• 基于Transformer的预训练语言模型分为三种类型：仅编码器、编码器-解码器和仅解码器。

或者比RNN更强大的神经网络模型，大家应该已经了解，即Transformer。在前面的课程中已经介绍过，Transformer采用了一种自注意力（Self Attention）架构。实际上，我们可以将其与上下文相关的表示（Contextualized representation）进行比较，它非常适合训练上下文相关的词向量。这是因为每个Token都会注意到其他Token，因此每个Token都与其上下文相关。这自然导致了基于Transformer的预训练语言模型的出现。基于Transformer的预训练语言模型有很多，主要包括三种类型：仅编码器（Encoder only）、编码器-解码器（Encoder Decoder）和仅解码器（Decoder only）。它们实际上采用了Transformer的不同部分。以及他采用的不同训练目标。

• 三个代表性模型：BERT、GPT、T5

• GPT是最受欢迎的模型

• GPT是第一个基于Transformer的预训练语言模型

• Transformer最初设计用于翻译任务

• GPT采用Transformer结构和传统的语言模型方法

• GPT的训练方式是从左到右，利用前面的Token预测下一个Token

• 微调过程中，GPT利用最后一个单词的表示来预测任务标签

那么它的三个代表性模型是BERT、GPT和T5。接下来我们将详细介绍这三个模型。首先来看GPT，目前它是最受欢迎的模型。GPT是第一个基于Transformer的预训练语言模型。最初，Transformer被设计用于翻译任务。可能连Transformer的作者也未曾预料到它会被用于预训练，或被广泛应用于多种任务。GPT正是基于这一发现，采用了Transformer结构，并结合传统的语言模型方法，即利用前面的Token预测下一个Token，从而实现从左到右的训练方式。如图所示，例如一个单词仅能看到其前两个单词，并据此预测下一个单词。在微调过程中，GPT会利用最后一个单词的表示来预测任务标签。这就是GPT的注意力机制架构，它通过利用前面单词的概率来预测下一个单词。

• 在实际使用中，采用attention mask防止模型看到后续单词。

• GPT之后引入了更强大的模型Bert。

• Bert在NLP研究领域当时尚未广泛应用，但技术革新已显现。

我们在实际使用中会采用attention mask，以防止模型看到后续的单词。在GPT之后，我们引入了一个更为强大的模型，即Bert。在当时，Bert在NLP研究领域中尚未被广泛应用，但其带来的技术革新已初露端倪。

• BERT开启了预训练语言模型的新领域。

• 方法：随机遮盖输入序列中的部分单词（token），预测这些被遮盖的token。

• 遮盖比例：15%，此比例经过实验确定。

• 目标函数：遮蔽语言模型，与传统语言模型不同。

• 注意力机制：传统模型使用单向注意力，遮蔽语言模型使用双向注意力。

我们在自然语言理解任务上的表现远远超越了当时最先进的方法，甚至在许多任务上超越了人类的表现。在BERT之后，预训练语言模型这一领域才真正被打开。其方法相当简单：对于一个输入序列，我们随机遮盖其中的一些单词或称为token，然后预测这些被遮盖的token。遮盖的比例为15%，这一比例是经过实验得出的。我们可以看到，这种目标函数称为遮蔽语言模型，与传统语言模型有所不同。区别在于，传统模型采用单向注意力机制，而遮蔽语言模型则采用双向注意力机制。

• BERT模型采用双向建模，能够同时利用前后文信息。

• 当前主流模型多采用单向建模，原因和优势待探讨。

• BERT还使用预测下一个句子的目标函数，但实验显示其效果不佳。

在这个目标函数中，被遮盖的模型既可以看到前面的上下文，也可以看到后面的上下文。理论上，BERT似乎能够比GPT学到更多的信息。然而，为什么我们现在的模型都是单向建模呢？单向建模相比双向建模的优势在哪里？或者说它为什么能够扩展？大家可以先提前思考一下，稍后我们将回答这个问题。BERT除了使用遮盖token的策略外，还采用了另一个目标函数，即理解不同句子之间的关系。因此，它还有一个目标是预测下一个句子。在训练过程中，由于我们有大量的预料，它会训练模型判断下一个句子是否是真正的下一个句子，或者是一个随机的其他句子。但后来有许多实验证实，这个目标函数其实并不那么有效。实际上，它可能还不够本质，最本质的做法是我们使用这个目标函数。

• BERT的输入包括文本token和特殊token，特殊token如CLS和SEP分别表示句子的开始和分割。

• 可以自定义特殊token，例如用O表示OpenBMB。

• 每个token有三种embedding：token embedding、segment embedding和position embedding，这些embedding相加得到最终embedding。

• CLS的最终embedding常用于文本分类任务，如情感分类。

• 在关系抽取任务中，可以在实体前添加特殊token，并使用其embedding进行关系抽取。

• BERT主要用于自然语言理解，学习到的表示可用于多种自然语言处理任务。

我们只需对token进行预测。详细来看BERT的运作机制，首先输入是一系列token。除了文本token外，还有一些特殊token，这些特殊token具有特定含义。实际上，我们可以添加任何特殊token来表示任何含义。例如，添加一个O代表OpenBMB，这是可行的。在BERT中，token的含义包括：首先有一个CLS token，代表classification，表示每个句子的开始；还有一个SEP token，表示两个句子之间的分割，告诉模型当前句子结束，准备进入下一个句子。

关于embedding，每个token有自己的embedding，类似于词向量。此外，还有segment embedding，表示token属于前一个句子还是后一个句子（A、B或C）。还有position embedding，表示token在序列中的位置，因为self-attention结构本身不包含位置信息。我们将这些embedding相加，得到token的最终embedding，用于各种任务。

一个常见的情况是使用CLS的最终embedding进行文本分类，如情感分类。在关系抽取任务中，我们可能在两个实体前添加一个特殊token，然后使用这个特殊token的embedding进行关系抽取。BERT主要用于自然语言理解，学习这些表示后，我们可以将其用于传统的神经网络和机器学习自然语言处理任务。

• BERT模型在多个任务上超越了人类表现。

• BERT提出了Bert-Base和Bert-Large两个模型，大模型表现更好。

• 训练Bert-Large需要大量计算资源，成为资源充足的标志。

• T5模型继承了BERT的规模扩展，将所有任务转换为Text-to-Text格式。

• T5采用encoder-decoder架构，与BERT和GPT的表征利用方式不同。

• GPT虽然只采用Transformer的decoder，但被认为具备理解能力。

BERT的效果确实非常出色，它是在GPT之后出现的，但在当时为我们提供了许多计划。自然语言处理的研究者带来的震撼远胜于GPT。在很多任务上，BERT都超越了人类，并且提出了一个非常重要的观点：训练了两个模型，Bert-Base和Bert-Large，越大的模型表现越好。如果我没有记错，BERT应该是第一个提出这一观点的，并非后续进行规模扩展的GPT。当时，作为自然语言处理的研究者，我们都想知道谁能选择Bert-Large，即谁拥有足够的计算资源来训练一个Bert-Large，这被认为是计算资源充足的标志。而现在，我们能够操作的模型已经远远超过了这个量级。在BERT之后，有一个模型继续这种规模扩展，即我们所说的T5。它实际上将所有的自然语言处理任务，无论是分类还是生成，都转换成了Text-to-Text格式，即输入是一堆文本，输出也是一堆文本，即使是一个分类任务，也是一个Token。之前的BERT或GPT，在使用时，我们实际上是利用它们的表征来进行分类任务，输出的是经过Softmax后的分类概率，例如在Class A和Class B的概率。而T5则认为，干脆不要这些了，所有的东西都变成文本到文本的形式，采用了encoder-decoder架构。我们稍微强调一下，GPT采用的是Transformer的decoder，即它只负责生成，但现在我们认为它也具备理解能力。

BERT主要强调理解，因此采用Transformer的encoder架构。T5首先使用encoder进行文本理解，然后通过decoder进行单向生成。在此过程中，它会mask掉一些短语。

• NLP任务统一性：所有自然语言处理任务可以统一到一个语言模型中。

• 预训练任务分类：预训练阶段分为BERT、自回归模型（如GPT）和T5三种方法。

• 语言建模本质：语言建模使用前面的标记预测下一个标记，本质上是计算条件概率。

• 概率计算方法：通过乘积计算序列概率，使用对数函数避免数值下溢，计算最大似然概率。

• 语言建模复杂性：语言建模不仅涉及模仿和记忆，还包括世界知识、推理和编码等。

T5的编码器接收输入，解码器则预测被遮蔽的输出。这给我们一个重要的启示：所有自然语言处理（NLP）任务都可以统一到一个语言模型中。在预训练阶段，我们可以将其分为三种任务。首先是BERT，它在预测S3时可以看到所有标记，无论是前还是后。其次是自回归模型，如GPT所采用的传统语言模型，在预测Y1时只能看到前面的标记。最后是T5所采用的方法，先通过编码器理解输入，再通过解码器生成所需内容。目前，几乎所有模型都采用单向的自回归GPT语言模型。我们可能会思考，这种模型是否比其他模型更本质，或更易于扩展和规模化。接下来，我们将探讨语言建模的本质，实际上非常简单，可以用两句话概括：它使用前面的标记（token）来预测下一个标记。具体来说，就是用前面的n-1个标记来预测第n个标记。当然，中间可能会有一些技巧，例如我们可能不想使用n-1个那么多，而只想使用5个或10个等。但本质上，它只是在计算条件概率。如果要计算整个序列的概率，就是将P(w1)、P(w2|w1)等全部相乘，得到整个序列的概率。由于这个概率可能非常小，我们可能会在前面加上对数函数，以避免数值下溢，然后再除以n分之一，得到所谓的最大似然概率。例如，"never to read， to learn， to code， to read"在自然语言中都是可能出现的。因此，在进行语言建模时，我们关注的不是正确的标记是什么，而是概率。当我们学习到这些概率时，就可能理解世界运行的方式。当我们预测下一个标记时，不仅仅是在模仿或记忆，实际上包含了多种内容，如世界知识、推理或编码等。因此，语言建模是一个非常复杂且多维的过程。

• 描述了一种可能的多任务学习模型，该模型在预测下一个token的过程中学习多种技能。

• 学习的技能包括语法、词法、世界知识、文本分析、情感分析、翻译、数学、代码等。

• 提出扩展token的类型，包括音频、图像、气压等，以探索更广泛的学习领域。

我们认为它可能是一种极致的多任务学习。在预测下一个token的过程中，它可以学习到语法、词法、世界知识、文本分析、情感分析、更难的文本分析、翻译、数学、代码等。当我们扩展token到不仅仅是语言时，如果它是音频、图像，甚至是空气中的每个气压，大家可以思考一下。

• 语言建模的核心在于其智能程度。

• 智能不足可能导致对模型能力和智慧的质疑。

• 语言建模具有巨大的潜力和机会。

关于语言建模的本质，我们可以参考前OpenAI首席科学家伊利亚·苏茨克弗（Ilya Sutskever）的阐述。语言建模的核心在于，如果建模不够智能，我们可能会质疑这些模型的能力和智慧。尽管这些模型可能并不存在，但语言建模提供了极大的潜力和机会。

• 讨论了如何行动的问题。

• 提出了获取证据的来源问题，建议从普通人的数据中获取。

• 探讨了如何表达预测下一个token的意义。

这些人应该如何行动？是的，但是我们应该从哪里得到这种证据？从普通人的数据，因为如果我们考虑一下，这意味着什么？我们应该如何能够表达预测下一个token？这其实是一个更深入的问题。评估预测下一个token的意义是什么？我们应该如何能够表达预测下一个token的意义？

• 作者认为预测下一个token不仅仅是统计行为。

• 当模型规模足够大时，预测过程可能涉及对世界本质的理解。

• 预测下一个token的过程被视为一种信息压缩。

他认为预测下一个token不仅仅是进行统计，而是当模型规模足够大时，它实际上在理解世界的本质。虽然这种说法可能有些夸张，但我们发现预测下一个token的过程本身可能是一种压缩。这种压缩，即预测下一个token的过程，实际上是在对信息进行压缩。

• 语言建模的优势在于其依赖于语料库，不需要人工标注。

• 高质量语料虽然理想，但包含噪音或杂质的语料也可能对语言模型有益。

在他的神经网络参数中，我们不再深入探讨。语言建模的一个显著优势是它仅依赖于语料库。尽管我们可能需要高质量的语料，但实际上，即使是包含噪音或杂质的语料，也可能有助于语言模型的理解。语言建模不需要人工标注，例如，A属于互联网领域。

• 情感关注：A所表示的情感不需要特别关注。

• 模型处理：模型不要求统一格式或结构化解析，只需准备和清洗语料库。

• GPT模型构建：通过语料库使用神经网络预测下一个token，构建GPT模型。

• 困惑度评估：使用困惑度衡量语言建模效果，计算方法包括计算文本概率、取自然对数、除以n、加负号、取指数。

• 模型理解评估：低困惑度表示模型对数据集理解较好，每个token概率较高。

A所表示的情感实际上并不需要特别关注。此外，该模型也不要求我们将所有语言和文本统一格式，或者进行结构化解析等复杂处理。我们只需准备一个语料库，并进行必要的清洗和配比，这些内容将在后续部分详细讲解。简而言之，通过这些语料库，我们可以使用神经网络来预测下一个token，从而得到一个GPT模型。衡量语言建模效果的一个有效方法是使用困惑度。困惑度本质上是对预测下一个token的逆过程的度量。其计算方法较为复杂，具体来说，我们需要计算整个文本的概率表示，这是计算的分母部分。在计算出整个文本的概率表示后，取其自然对数，再除以n，并在前面加上负号，这样就转换为交叉熵。为了防止数值过大导致难以阅读，我们再对其取指数，从而得到PPL，即困惑度。困惑度可以用来评估任何模型对任何数据的理解程度。如果一个模型对某数据集的困惑度很低，我们就可以认为该模型对该数据集的理解较好，因为每个token的概率都较高。

• 语言模型与困惑度：单个token的概率可能不准确，但通过困惑度可以评估模型在特定领域（如生物医疗）的表现。

• GPT-1的训练方法：第一代GPT模型通过语言建模进行训练，拥有一亿多个参数，阅读了7000本书，训练量在当时是有限的。

• 训练过程：GPT-1首先进行无监督预训练，然后进行下游任务的微调，如文本分类任务中使用最后一个隐藏状态和线性层进行微调。

• OpenAI的发展阶段：在GPT-1时期，OpenAI可能还停留在传统的ROP任务中，尚未开发出更先进的模型。

实际上，单看一个token，其概率可能并不准确，因为我们实际上没有正确答案。但是，当我们把这个指标放到困惑度中时，例如我们现在要训练一个生物医疗的模型。现在我们有一段生物医疗的文本，包括DNA片段等。那么当模型在这个文本上困惑度低时，就说明它比较擅长生物医疗，我们可以简单地这样认为。因此，现在我们讨论了语言建模，再回过头来看GPT-1，即第一代的GPT，它是通过这种语言建模的方式进行训练的。它拥有一亿多个参数，并阅读了大约7000本书。实际上，这个训练量在我们现在看来是非常小的，7000本书的训练量可能连现在的万分之一都不到。但当时它就是这样做的，首先是通过无监督的预训练，在这7000本书上进行一个token一个token的预测。然后在下游任务的过程中，它还是进行了微调，即做了fine-tuning。例如，在文本分类任务中，它使用了最后一个隐藏状态，即最后一个表示，然后接入了一个线性层。这个线性层会输入一个分类的01向量，并通过softmax进行微调。因此，在这个时候，我们认为至少在这个阶段，OpenAI可能还没有开发出像现在这样的GPT，它的思维可能还停留在传统的ROP任务中。我们仍然希望训练一个模型来解决这些问题。

• 初代GPT在震撼程度上不及BERT。

• GPT-2通过扩展和增加训练数据量，展示了单向语言模型的可扩展性。

• GPT-2能够处理多个任务，开启了从传统LOP到更大语言模型的转变。

• OpenAI希望通过扩大模型来解决单任务训练的局限性，实现多任务的泛化。

• GPT-2和GPT-3的论文被认为是高质量的。

因此，这也是初代GPT没有BERT更加震撼的原因。然而，到了GPT-2，情况略有改变。首先，他们进行了扩展，证明了这种单向语言模型也能够进行扩增。其次，其训练数据量也增加了。GPT-2开始能够解决不止一个任务，而是多个任务。他们认为这个语言模型本身具有可扩展性。在此，我强烈推荐大家阅读GPT-2的原论文。直到现在，我也认为这是我见过的写得最好的一篇论文之一。实际上，我们可以看到OpenAI在这个时候，尽管GPT-2的地位可能比GPT-1还要低，但我认为它被低估了。因为它开启了OpenAI从传统的LOP到更大的语言模型的转变，在GPT-2时期就已实现。只是他们当时还没有将参数扩增到1750亿。在原论文中，他们认识到对于一个传统的机器学习系统，针对单个任务进行训练和微调，导致其不能在多任务上进行泛化。这实际上意味着一些小的改动就可能引起整个系统的崩溃。因此，他们希望通过一种更根本的方法来解决这个问题。他们的方法就是扩大GPT-1，将GPT-1的下一个Token预测进行扩增。因此，他们认为在开始进行下一个Token预测时，我们就可以实现多任务的共同完成。这里就不详细念了，大家可以仔细阅读这篇论文。GPT-3的论文也写得非常好。接下来的故事我们就都知道了。

• GPT-3是首个扩展到1750亿参数的语言模型，处理数据量远超以往。

• OpenAI使用GPT-3在Reddit或Quora上进行回帖实验，长时间内未被识别为模型。

• 在NLP领域，之前主要关注情感分类、翻译等任务，较少考虑跨任务泛化。

现代大语言模型的一个重要转折点是GPT-3，它首次将语言模型扩展到了1750亿参数，并且处理的数据量远超以往的模型。我记得当时OpenAI进行了一个实验，使用GPT-3在Reddit或Quora上回帖。实验进行了很长时间，但没有人意识到那是一个模型，这给人带来了极大的震撼。因为在NLP领域，我们之前认为让模型按照指令执行任务是不太可能的。我们之前主要关注于情感分类、翻译或一些简单的生成任务，很少有人考虑跨任务泛化的问题，即任务本身的概念。

• In-context Learning特性：大型模型如GPT-3具有情境学习能力，能在不微调的情况下通过提供示例来学习新任务。

• 模型应用：通过提供英文到法语的翻译示例，模型能学习并执行翻译任务。

• 泛化能力：GPT-3的意义在于其泛化能力，能处理多种任务，而不仅仅是单一任务的优化。

• 学术界反应：尽管GPT-3在公众中引起震撼，但学术界对其应用和效果持保留态度，认为微调模型如Bert和Roberta在特定任务上表现更优。

它在这里似乎被模糊化了。然后它有一个非常强大的特性，叫做In-context learning。我们来看一下。我们看不到这些模型，但是当它变大了，我们就能看到了。我们来看一下评论问题。在传统的机器学习中，我们必须给模型提供数百个例子的评论，然后模型会学习这些评论。但是在这里，我们给模型一些例子，然后它能学习我们想要的东西。我们看到很多模型能学习这些模型的行为。比如说，我们来看一下这些数学学习的例子。关键是，一个小模型，并不明白这些。这些模型的确实比较丰富。但是，我们来看一下这些大型模型的行为。它们明白如何解决这些问题。我们看到这些模型的行为，对。其实这个视频讲的主要是所谓的涌现的能力。

实际上，它一个最重要的涌现能力，我们能看到的就是叫情境学习，或者叫上下文学习，或者英文就叫in-context learning。它的做法也非常简单。当我们训练了一个1750亿参数的模型之后，我们就不微调它了。然后呢，我们想让它完成一个翻译任务，怎么办呢？我们就告诉它，你就把英文翻译成法语就行了。如果它好像翻译得不太好的话，我们很简单。就在前面加一些例子。比如说，这里的第二行，第三行，第四行，都是英文翻译成法语的例子。然后呢，我们再给一个第四行，然后让它翻译成法语。然后呢，我们再给一个第四行，然后让它翻译成法语。然后呢，我们再给一个第四行，然后让它预测下一个token，然后再预测下两个token等等。

这就是GPT-3。这时候呢，我们已经几乎没有任务的概念了。我们有一个超级大的模型，然后呢，我们告诉它做啥，它就能做什么。虽然很多任务上可能做的还是没有一些微调过的模型好。我记得GPT-3出来的时候好像，其实这个对学术界的影响可能没有大家想的这么大。尽管大家都觉得非常震撼，但实际上学术论文中并没有太多使用GPT-3的。或者说，好多研究者都认为，我在一个语料上微调一下我的模型，微调一下我的Bert，我的Roberta，比你的GPT-3好。那你这个有什么意义呢？我做不了我的情感分类任务，关系抽取任务，你做的没我好，而且你还这么大。实际上GPT-3的意义并不在于它做一个任务做的有没有Bert好，或者说有没有现在的所谓的最好的模型好。它的意义就在于泛化性，它能够泛化到无数的，只要能用Token表示的任务上。然后呢，我们告诉它做什么，它就可以做什么。这个呢，我们的想象力上限才会更高。但是实际上，在我的记忆中。

当时的NLP研究者几乎很少有人认识到这一点。在GPT-3之后，OpenAI推出了我们现在都熟悉的ChatGPT。但实际上，ChatGPT的构建方法与之前的模型有所不同。

• InstructGPT是基于GPT-3的改进模型，通过后训练使其更遵循人类指令。

• ChatGPT是InstructGPT的进一步发展，能更好地与人类对话，输出更准确、信息量更大且无幻觉的回答。

• 示例展示了GPT-3可能输出错误或重复语料中的内容，而InstructGPT则能输出更合适的回答。

他们之前的一个模型叫做InstructGPT，几乎是一模一样的。他们对GPT-3进行post-training，就是我们下一节要讲的内容，然后让它变得更加能够遵循人类的指令。ChatGPT就是它可以更好地与人类对话，从而输出更加有信息量、更加正确，然后更加没有幻觉的回答。比如说下面这就是一个例子。GPT-3它可能输出的东西是一个错的，或者说它在语料中见过的，然后它就输出成这样的。但是InstructGPT它就可以去输出。

• GPT-4是继Instrcut和ChatGPT之后的最新AI技术。

• GPT-4能够处理约25000个词汇，是ChatGPT的8倍。

• GPT-4具备图像理解能力，能解释图像含义。

• GPT-4能识别图像中的逻辑关系，如线条切断导致瓶子飞走。

• AI技术存在不完美和错误，需要进一步验证。

正确的表述这种形式。在Instrcut和ChatGPT之后，我们又了解到有了GPT-4。它能够处理约25000个词汇，比ChatGPT多出约8倍。它能够理解图像，并能表达其含义。例如，它能告诉我们，如果画面的线条被切断，那瓶子就会飞走。这就是这些AI能够进行测试的地方。它们并不完美，会犯错误。我们还需要对它们进行验证。

我认为您知道这些工作是您的期望。但我认为这基本上是为了每个人都能做到的。GPT-4的训练在去年8月份已经结束。所有在过去的事情中所发生的事情。

• 该技术自推出以来已发展为大型标准，提升了安全性、效率和实用性。

• 技术内容包括考虑敌人利益、不受欢迎的内容及私人关注。

• 认识到技术发展是一个持续过程，需要不断学习、更新和提升。

• 技术在教育领域展现出巨大潜力，如GPT-4能提供个性化学习计划。

在过去的几个月中，自我们推出以来，它已经发展成为一个大型的标准，使其更加安全、高效和有用。我们已经纳入了许多内容，包括对敌人利益的考虑、不受欢迎的内容以及对私人关注的重视。当我们推出这一模式时，我们清楚地认识到这只是一个开始。我们知道我们需要不断学习、更新，并持续提升所有系统，以更好地适应社会需求。对我而言，这些技术的最复杂用户是那些真正基于人类需求而开始使用的人。这些系统在教育领域展现出了巨大的潜力。GPT-4能够教授大量的课程计划，设想为五年级学生提供无限的时间和耐心的个性化学习。它是一个极好的工具，能够为所有人带来学习的机会。

在他们的技术层面上，这种表达体现了人生中最有用和有帮助的梦想。其真正目的是为了帮助大家增加更多的价值。

每一天的生活都能实现。OpenAI的合作旨在将这种技术发展成能够帮助全球的工具。

• AI技术与通信技术、计算机电流、中央互联网和计算机器紧密合作，有望提升生活质量。

• 尽管存在限制，但通信技术的成熟将带来深远影响。

• GPT-4被视为首个专业智能AI系统的里程碑。

• 通信技术的应用受到广泛关注，不仅限于技术专家，也包括普通用户。

希望AI的力量能帮助我们更有效地提升生活质量。随着通信技术、计算机电流、中央互联网和计算机器的发展，所有这些领域都能与AI技术紧密合作。尽管目前还存在一些限制，但我们已经可以预见未来这些通信技术的成熟将带来的深远影响。我认为GPT-4将成为世界上首个专业智能AI系统的里程碑。我们非常关注这些通信技术的应用，不仅限于技术专家，也包括广大用户。

GPT-4自去年发布以来，尽管有许多模型声称超越了它，但我认为它仍然是当前最好的模型。

• GPT-4被认为是当前最好的语言模型。

• 具体参数、数据量和架构细节未公开，OpenAI转变为CloseAI。

• 模型基于大型架构，可能在Transformer上优化，使用混合专家模型，并在大型语料库上训练。

• 应用范围扩展到编程、科学发现和教学等非传统语言任务。

• 模型处理能力不仅限于语言，还包括任何可序列化的数据。

• 训练和应用中，模型展现出高级智能和泛化能力。

总的来说，GPT-4应该是最好的。实际上，关于它使用了多少参数、多少数据以及使用了什么架构，我们都是不知道的，因为从这时起，OpenAI已经变成了CloseAI。但是可以预见的是，它仍然是一个语言模型，使用了一个非常大的架构，可能在Transformer上做了很多优化，也可能使用了混合专家模型，并在一个非常大的语料库上进行训练，展现出了更高级的智能。它已经不仅可以用在传统的语言任务上，实际上编程、科学发现甚至教学，我们都可以使用GPT-4来进行。所以到了这个节点上，我们可以去想象更多的应用。在我们传统的NLP中，我们可能只是让人来定义一个任务，然后我们去思考，去构建一个NLP模型，去完成它。但是到了GPT-4上，我们的局限已经不仅仅是语言了，而是序列。任何可以转化成序列的东西，都可以尝试用语言模型去处理。然后我们去学习它，去泛化它，让它达到更好的效果。在训练的时候，我们可以使用这个语言模型。

• Scaling Law：随着模型大小、数据集大小和计算量的增加，语言模型性能提升。

• 实验验证：计算量增加时，损失降低，性能提升。

• 涌现现象：计算量增加到一定程度，小模型无法完成的任务会显著提升。

• 开源社区贡献：尽管领先公司未开源，开源社区已开发出接近甚至超过ChatGPT 3.5的模型。

• 训练策略：采用Transformer架构和语言建模方法，进行细微调整和新的训练策略。

在预训练语言模型的过程中，大家应该听说过一个非常重要的现象，即Scaling Law。Scaling Law指出，随着模型大小、数据集大小和训练所用计算量的增加，语言模型的性能会平稳提升。这一规律是当前大型语言模型训练的基础。尽管这一现象看似直观，但实际上在之前，我们并不清楚模型越大效果越好。我们曾认为模型达到一定大小后会遇到瓶颈，不值得投入更多资源。

因此，需要通过一系列实验来验证，当数据量和模型大小增加时，即计算量增加时，性能曲线如何变化。研究者发现，只要计算量增加，损失就会降低，性能提升。此外，一些研究者提出，在计算量增加的过程中，会出现所谓的涌现现象，即小模型无法完成的任务，在达到一定计算量后会突然提升。

例如，计算量为10^22次方时任务表现不佳，但达到10^24次方时表现显著提升。尽管涌现现象在学术界存在争议，认为这并非凭空出现，而是平滑出现的，只是选择的指标不同。重要的是，能力确实随着模型和数据量的增加而提升。涌现能力具有不可预测性等特点，但通过更细致的研究，这些问题或许能得到解答。

2024年，由于OpenAI等领先的大语言模型公司未开源，开源社区涌现了许多训练策略和模型。我们仍采用Transformer架构和语言建模方法，在更多数据上训练，并进行了细微调整。例如，法国人工智能公司Mistral开发的Mistral模型，采用混合专家架构，而OpenBMB开发的MiniCPM模型，用20亿参数达到70到130亿模型的效果。我们进行了风动实验，并使用了新的训练策略，如WSD模拟退火调度器，以更好地学习。尽管最佳公司未开源，但开源社区如OpenBMB、HuggingFace已做出许多贡献，我们已能训练出接近甚至超过ChatGPT 3.5的模型，但与GPT-4仍有差距。训练这样的模型需要神经网络基础和语言建模等基本知识，尽管这些看似简单，实际训练时却非常复杂。

• 超参数的微小变化可能对模型性能产生显著影响。

• 需要在小模型上进行实验，以实施Scaling Law。

• 并行计算的两种方式：数据并行和模型并行。

• 数据并行涉及数据分割和模型副本的汇总更新。

• 模型并行涉及模型分割和不同部分的计算，节省显存。

• 现代模型训练涉及复杂的工程细节和多机器间的互联通信。

• AI人才需具备理论知识（如神经网络、机器学习）和实践技能（如硬件操作、计算过程）。

• 新时代AI人才应结合理论与实践，形成综合视野。

这件事变得非常复杂，例如我们的超参数，即使是一个小超参数也可能对整个模型的性能产生重大影响。我们需要考虑数据的配比以及如何实施Scaling Law，这意味着不能仅在大模型上进行实验，而应先在小模型上做好实验。另一个重要的考虑是进行并行计算。在传统的神经网络深度学习中，我们通常采用两种并行方式：数据并行和模型并行。数据并行是将数据分成多份，每张卡存储一个模型副本，每个副本处理数据后汇总更新模型。模型并行则是将模型分成多份，进行不同部分的计算，这样可以节省显存。然而，这可能会面临更复杂的问题，如多机器间的互联和通信。因此，现代模型训练不仅是科学问题，也涉及大量工程细节。AI人才不仅需要懂理论，如神经网络、机器学习和自然语言处理，还需要懂硬件和实际计算过程，如Quda和不同显卡间的操作。新时代的AI人才应将理论与实践结合，具备将不同知识联系起来形成更大视野的能力，以做出更有影响力的工作。

• 数据集规模：Pile数据集容量为850GB，而Find Web数据集规模更大。

• 数据选择的重要性：数据的选择、来源和配比对模型性能至关重要。

• 数据多样性的重要性：为保持模型的通用能力，数据多样性是必要的。

• 模型研究的焦点：2023年至2024年，许多突破性模型研究集中在数据本身。

• AI人才的要求：新时代AI人才需具备数据工程能力，理解数据结构，并能预测数据对模型结果的影响。

一个大型模型显然需要大量的数据。这里有一个著名的数据集，名为Pile，其容量应为850GB。然而，如HuggingFace最近发布的Find Web数据集，其规模远超Pile。数据的重要性不言而喻，甚至可以说是最关键的因素。我们如何选择数据，数据来源何处，以及数据的配比，都是至关重要的。例如，如果我们希望模型在编程和数学方面表现更强，就需要加入相应的数据。同样，若希望模型在生物学领域表现出色，也需混合生物学数据。同时，我们不希望模型失去通用能力，因此数据的多样性同样重要。实际上，2023年至2024年，许多最具突破性的模型研究都集中在数据本身。继续探讨，新时代的AI人才应具备数据工程的能力，深入理解数据结构，并具备一定的直觉，以预测不同数据可能带来的结果和训练出的模型类型。众所周知，在测试集上训练通常能带来良好的结果。但由于时间关系，我们只能讨论到这里。

• Post-training是在完成Pre-training之后进行的。

• 假设压缩理论成立，模型在预训练后已将互联网上的所有数据压缩到其参数中。

• 数据类型包括深入的论文、个人微博或Twitter、不同国家的政治观点、编程相关的信息（如汇编代码、Python代码和Java代码）。

• Post-training的目的是更好地呈现这些压缩的信息。

接下来我们将讨论Post-training，刚才已经完成了所有的Pre-training部分。在Post-training中，我们可以假设所谓的压缩理论是正确的。当前的模型有能力构建互联网上的所有数据，包括最深入的论文、个人发布的微博或Twitter、不同国家的政治观点，以及编程相关的信息，如汇编代码、Python代码和Java代码。如果压缩理论成立，那么一个模型在预训练之后，已经将所有这些信息压缩到其参数中。为了更好地呈现这些信息，我们需要进行Post-training。

• 后训练是模型训练的必要步骤，有多种称呼如对齐或适配。

• 后训练过程的重要性需要被认识。

• GPT-4在2022年8月完成预训练后，进行了8个月的对齐工作。

任何模型实际上都需要进行后训练。后训练有多种称呼，例如对齐（alignment）或适配（adaptation），在之前我们可能称之为微调。无论我们如何称呼，都需要了解这一过程的重要性。GPT-4在2022年8月份完成预训练后，又花费了8个月的时间进行对齐。

• 即使是强大的模型如GPT-4，在某些领域如创作七言绝句或七言律诗上表现不佳。

• 后训练或对齐过程主要包括四点：

  • 场景特化：使模型适应特定或多种场景，如对话场景。

  • 能力激发：有效释放模型在预训练中压缩的信息。

  • 增强稳定性和鲁棒性：通过优化过程减轻模型的幻觉问题。

  • 价值对齐：确保模型符合人类价值观，避免不当行为。

而且，即使是目前最强大的模型，也存在其不擅长的领域。例如，今天让GPT-4去创作七言绝句或七言律诗，它可能表现不佳。那么，后训练或对齐究竟涉及哪些内容呢？实际上，主要包括以下四点：首先，是场景特化，即使模型适应特定或多种场景，如对话场景。其次，是能力激发，即如何将模型在预训练中压缩的信息有效释放出来，这是其重要功能之一。第三，是增强模型的稳定性和鲁棒性，通过优化对齐或后训练过程，减轻模型的幻觉问题。最后，是价值对齐，确保模型符合人类价值观，避免其产生不当行为。这一部分将在后续课程中详细探讨。

• OpenAI曾重视对齐问题，成立了"超级对齐"小组，由Jan Leike和Ilya Sutskever领导。

• 该小组计划投入大量计算资源专注于超级对齐，但两位领导已离职，小组可能已不存在。

• 对齐的定义是让AI根据输入输出人类期望的内容，如情感分类和编写代码。

• 对齐在AI输出特定内容时尤为重要。

对齐究竟是什么？OpenAI之前非常重视对齐问题，并成立了名为"超级对齐"的小组，计划投入四分之一的计算资源专注于超级对齐。该小组由Jan Leike和Ilya Sutskever领导，但他们现已从OpenAI离职，因此超级对齐小组可能已不存在。然而，超级对齐或对齐本身仍然非常重要。对齐的定义很简单，即让AI根据特定输入输出人类期望的内容。例如，在进行情感分类时，我们要求AI判断一句话的情感是正向还是负向；在编写代码时，我们要求AI完成某个课程的大作业。当人类需要AI输出特定内容时，对齐就显得尤为重要。

例如，让GPT编写一段代码，让机器人随意移动一个物体，然后让AlphaGo进行围棋对弈，接着让BERT执行文本分类。

我们可以将其视为对齐，以使模型输出我们期望的结果。为何要对齐？因为它能够增强模型的能力，提高其可信度，并确保安全性。

• 模型在面对道德判断时，如"人应不应该伤害别人"，会基于学到的犯罪小说和法律内容进行概率计算。

• 模型需要通过对齐使其判断更加可靠和准确。

• 对齐过程虽然不直接增加新知识，但能激发模型已有的知识，使其表现出新的能力。

• 对齐和SFT、预训练的loss函数在技术上没有变化，仍依赖于语言建模和文本泛化。

• 当前是研究对齐和后训练的理想时机，因为资源有限。

在模型不知道该往哪个方向走时，例如当我们给它输入一个人类价值观的观点，比如人应不应该伤害别人，这个模型已经学过了所有相关内容。它既学到了犯罪小说中人伤害别人的例子，也学到了法律中人不应该伤害别人的例子。那么，它如何判断哪个是正确的呢？因为我们之前提到，我们所做的一切都是基于语言建模，它所做的只是概率计算。它知道人伤害别人有一个概率，人不伤害别人也有一个概率。那么，如何确定哪个是正确的呢？因此，我们需要对齐模型，使其更加可靠，同时也增强其能力。很多人认为对齐并不能学到新的东西，只是激发了它已有的知识，这种观点是错误的。因为所谓的能力或知识，本身就是人类定义的。我们关注的只是它的表现，如果它确实表现出了新的东西，我们就可以认为它学到了新的东西。实际上，对齐和SFT（fun tuning）以及预训练的loss函数并没有任何变化，它仍然是通过语言建模在大规模文本上进行学习，并且我们希望它在未见过的文本上也能泛化。现在正是研究对齐或后训练的最佳时机，因为我们能研究预训练的人不多，包括实验室和很多公司的计算机资源都有限。

• 预训练实验的重要性不足以吸引所有研究者。

• 后训练的重要性逐渐超过预训练。

• 早期人工智能系统智能水平低，无法跨任务泛化。

• 早期研究者关注模型在特定任务上的表现。

• 现在仅关注表现的做法已不再适用。

也不足以让每个研究者都专注于预训练实验。而且，后训练的重要性逐渐超越了预训练。在早期的人工智能系统中，它们只能执行非常有限的任务，并且智能水平很低，无法进行跨任务的泛化。例如，使用Bert训练的文本分类模型只能进行文本分类，无法执行其他任务。因此，那时的研究者只关注模型在特定任务上的表现。如果能在文本分类任务上取得顶尖成绩，就会被认为是优秀的。然而，现在这种仅关注表现的做法已经不再适用。

• 当前系统能执行复杂任务并具备高级别智能。

• 系统能完成一些尚未被意识到的任务。

• 一个具体例子是ChatGPT被用来模拟Linux操作系统。

现在已经不再那么受关注，因为每个任务我们都能使其表现出色。因此，当前的系统能够执行许多复杂的任务，并具备较高级别的智能，甚至有些事情我们尚未意识到它们能够完成。例如，我记得当ChatGPT刚推出时，有一个非常引人注目的应用，即许多人利用它模拟Linux操作系统。

• CD命令可以进入指定文件夹。

• 创建文件夹的命令也能被执行。

• 不确定模型是否在训练中接触过相关语料。

• Linux操作系统可以转化为Token序列。

• 模型能够记忆、学习和泛化这些信息。

• 目前的模型需要进行对齐。

• 之前的模型流程是先预训练，再进行翻译。

例如，当你输入CD命令，它能够进入指定文件夹；当你要求它创建一个文件夹，它也能做到。我们不确定它是否在训练过程中接触过这样的语料，但应该有。这种能力在当时看来几乎像是科幻小说中的情节。然而，回顾本课最初的观点，一个Linux操作系统同样可以转化为Token序列。因此，模型能够记忆、学习并泛化这些信息，也并非不可思议。目前，我们需要进行对齐。再次强调，在之前的模型中，我们首先进行预训练，然后再进行翻译。

• 对齐过程包括在无监督语料上预训练，然后在特定任务上进行有监督训练。

• GPT-1使用最后一个token的最深层隐藏状态，通过线性层和softmax函数输出类别概率分布。

• BERT使用CLS token或所有token的表示平均值，通过线性层和softmax函数输出分类结果。

• T5模型输出token，这些token在词表上形成概率分布，模糊了任务的概念。

对齐过程，即调整（tuning）、适应（adaptation）或对齐（alignment），是在无监督的语料上进行预训练，然后在特定任务上进行有监督的训练。以GPT为例，初代GPT-1在尚未发展成后来的ChatGPT时，其对齐过程如下：针对每个任务，使用最后一个token的最深层隐藏状态，并通过一个线性层输出softmax函数，该函数输出类别上的概率分布。例如，在分类任务中，若A类的概率为0.8，则该样本会被归类为A类。同样，BERT也采用类似方法，使用CLS token或所有token的表示平均值，通过线性层和softmax函数输出分类结果。而T5模型则有所不同，其输出不再是简单的类别概率分布，而是token，这些token本身也是一种概率分布，但这种分布是在词表上。因此，输入和输出都变成了token，从而模糊了任务的概念。

• GPT-3在任务定义中转化为token到token的序列处理。

• 后训练或对齐阶段有两条主要发展路线：

  • 第一条侧重泛化性，使用较少数据在更多任务上取得更好效果。

  • 第二条关注效率，使用更少参数或计算资源完成任务。

• 这两条路线不冲突，即使提高效率，仍可期望模型用更少数据完成更多任务。

• 效率路线中，传统微调方法成本高，需在每个任务后更新所有参数。

在定义好的任务中，这些任务都转化为从token到token的序列。接下来是大家熟知的GPT-3。在后训练或称为对齐阶段，主要有两条发展路线。第一条路线更侧重于泛化性，即使用较少的数据在更多任务上取得更好的效果。例如，我们可能希望仅用几条数据就能完成一个高质量的任务，或者仅用10个任务的1000条数据来完成50个任务的1万条数据。甚至，我们可能希望开发一个能够执行任何任务的模型。第二条路线则关注效率，即使用更少的参数或计算资源来完成任务。值得注意的是，这两条路线并不冲突，即使使用更少的参数和计算资源，我们仍然可以期望模型使用更少的数据来完成更多的任务。我们先讨论效率这条路线。在效率方面，传统的微调方法是在训练模型后更新所有参数，并在下一个任务中再次更新所有参数，这种方法可能成本非常高。

• 预训练模型的高成本问题：超过90%的研究组和实验室难以承担，即使是微调也面临巨大挑战。

• 微调成本实例：1750亿参数的模型微调可能需要100张A100，每张80GB的A100，开销巨大。

• 引入新范式：参数高效的微调（Data Tuning），旨在使用极少的计算资源和参数更新来完成微调。

• Data Tuning的优势：大幅降低存储空间需求，例如1750亿参数模型存储空间可降低一万倍。

• 参数高效的微调方法分类：增量式方法、指定式方法、重参数化方法。

预训练模型的高成本使得超过90%的研究组和实验室难以承担，即使是微调也面临巨大挑战。以一个拥有1750亿参数的模型为例，进行微调可能需要100张A100，每张80GB的A100，这对于计算资源最丰富的实验室来说，开销也是巨大的。因此，我们引入了一种新的范式，称为参数高效的微调（Data Tuning）。这种微调方法旨在使用极少的计算资源，更新极少的参数来完成微调。其优势非常明显，首先可以大幅降低微调所需的存储空间。以1750亿参数的模型为例，与全参数微调相比，使用Data Tuning可以将存储空间降低一万倍。虽然微调过程中的显存并未降低至相同程度，但仍可减少约四分之三或三分之一。参数高效的微调之前并不是一个体系化的研究领域，但陆续有研究表明，许多研究实际上在做同一件事。目前，这一领域主要分为三类方法：增量式方法（Addition Based），即向模型中添加原本不存在的参数，并仅微调这些参数；指定式方法，即指定模型中哪些参数可调，哪些不可调，这可能是人工选择的，也可能是通过启发式方法或训练新的神经网络参数选择器来决定的；重参数化方法，即将微调过程转化为低秩或低维过程，实现整个优化过程的转变。

• 论文发表于Nature Machine Intelligence，涉及参数高效微调领域。

• 论文提出Delta Tuning框架。

• 介绍了Adapter作为参数高效微调的初始方法。

• Adapter在Bert时代已提出，通过在Transformer中加入小型神经网络单元实现微调。

• 微调仅涉及0.5%到8%的参数，通过调整映射维度实现适配。

这里推荐大家阅读一篇论文，这其实也是我写的。它是我们组在参数高效微调领域，在Nature Machine Intelligence上发表的一篇综合分析性论文。在这篇论文中，我们提到了Delta Tuning这个统一的框架。接下来，我们将介绍参数高效的微调。首先，我们介绍其最初的作品，即Adapter。Adapter可以被称为适配器，无论怎么翻译都可以。实际上，它在Bert时代就被提出。其做法非常简单，即在一个Transformer中加入两个小的神经网络单元。这些神经网络单元包括一个下映射矩阵、一个非线性层和一个上映射的线性矩阵。加入这些神经网络单元后，我们只微调Adapter的参数，其他部分保持不变。通过调整下映射和上映射的维度，Adapter本身可以变大或缩小。因此，我们基本上只需微调0.5%到8%的参数，即可完成适配。这项工作其实在Bert时代就已经被提出。谢谢大家！

• Bert的初期关注度低：由于Bert规模不大，且微调可能降低性能，初期关注度不高。

• 微调成本的增加：随着T5和GPT-3的出现，微调成本上升，促使参数高效微调方法重新受到关注。

• Adapter方法的介绍：Adapter方法简单，但存在前向传播负担加重的问题，尤其是在模型层数增加时。

• LoRA方法的流行：LoRA已成为最受欢迎的参数高效微调方式，特别是在使用Diffuser模型的场景中。

实际上，当时关注Bert的人并不多，因为Bert的规模并不大，大家普遍认为既然已经进行了微调，那么就应该追求更高的性能。如果微调可能导致性能损失，那么就没有太多人关注。然而，随着T5和GPT-3的出现，人们发现微调这些模型的成本越来越高。这时，以Adapter为首的参数高效微调方法再次引起了广泛关注。现在，有一个更为著名的方法叫做LoRA，相信所有同学都听说过，它已经成为最受欢迎的参数高效微调方式，尤其是在使用了许多Diffuser模型的场景中。我们先介绍Adapter，Adapter非常简单，但我们可以发现它有一个缺点，即原本模型已经足够深，再加上两层Adapter，每层加两个Adapter，24层就需要加48个，这样前向传播的负担会加重。

• 前向传播资源紧张，增加负荷会延长传播时间。

• 反向传播虽无需调整所有参数，但整体不经济。

• 研究者认为Adapter虽具开创性，但未必最优。

• 提议将Adapter移至外部，通过增加旁路节省空间和计算资源。

• 节省计算资源通过减少遍历网络次数，节省显存通过缩小隐藏空间形状。

• 引入Prime Tuning和Preface Tuning，通过微调前缀矩阵达到良好效果。

在前向传播过程中，原本资源已显紧张，若再增加负荷，前向传播时间将进一步延长。尽管反向传播时，可能无需调整所有参数，其增长有限，但整体而言，这种做法并不经济。因此，许多研究者认为Adapter虽具开创性，但未必是最优选择。一种策略是将Adapter移至外部。此提议旨在提供一种新思路：通过在每一层增加旁路，连接外部Adapter，前向传播保持常规路径，反向传播则仅至某一缩放器处终止。这样既能节省空间和计算资源，也能减少显存使用。节省计算的原因在于无需前向和反向传播都遍历整个网络，而节省显存则通过缩小隐藏空间形状实现。虽然实际操作中存在诸多技巧，但这一思路为不必要在神经网络每层添加小型神经网络提供了可能。此外，还可以在隐藏空间或输入前端引入Prime Tuning或Preface Tuning，这两种方法相辅相成。Preface Tuning在神经网络每层的表示（即隐藏空间h）前加入可计算矩阵，而Prime Tuning则是其简化版本，通过微调这些前缀矩阵，后续部分保持不变，从而达到良好的效果。

• 技术应用：在模型的输出层前加入prefix，仅调整这些prefix，中间层不添加。

• 技术特点：prefix tuning强调参数高效，添加的上下文是无意义的soft矩阵。

• 效果表现：在大规模模型（100亿参数）中效果与全模型微调相当，但在小模型中效果不佳。

• 潜在问题：由于仅调整输入层的少量embedding，信息在传播中可能受损，影响效果。

我们只在输出层，即embedding层的前面，加入prefix，然后只需调整这些prefix。在中间的这些层我们不再添加，以确保其效果。这项工作在当时具有很大的影响力，但我必须指出，它与我们现在讨论的prompting（提示工程）以及后续要讲的prefix learning实际上并非同一概念。这里的prefix tuning更强调参数高效，而非添加额外的上下文。它所添加的上下文实际上是无意义的，是soft的，即一些可微调的矩阵。因此，许多人可能会混淆这一点，大家需要注意。prefix tuning发现，当模型扩展到100亿参数时，其效果与全模型微调相当。然而，当模型较小时，它无法发挥作用，因为大家可以想象，我们在输入层加入了一些很少的embedding，然后调整它们。这些embedding需要经过输出层，再反馈回输入层。在调整过程中，它仅调整了开头的这些embedding，因此许多信息可能在传播中受到损失，导致其效果并不理想。

• LoRA（Low-Rank Adaptation）是一种热门方法，核心思想是对神经网络参数的变化量进行低秩分解。

• 具体操作是对矩阵变化量（如B-A）进行分解，例如将1000×1000的矩阵分解为1000×1和1×1两个矩阵，以减少计算量。

• LoRA的作者认为，尽管实际模型中的变化量可能是满秩的，但通过强制低秩分解，可以认为其本质上是低秩的，或者可以用低秩矩阵来近似表示。

• 这种方法涉及复杂的等价关系，虽然在数学上难以精确计算，但具有深入思考的价值。

接下来将介绍目前最热门的方法------LoRA（Low-Rank Adaptation）。LoRA的核心思想是对神经网络参数的变化量进行低秩分解。需要注意的是，我们并未直接分解神经网络本身的矩阵，而是分解其参数的变化量。例如，从矩阵A变为矩阵B，B-A即为变化量。我们仅对这一变化量进行分解，例如一个1000×1000的矩阵，可以分解为1000×1和1×1两个矩阵。这种分解显著减少了计算量。实际上，我们仅调整变化量的公式，并将其转化为低秩形式。LoRA的作者认为，这种低秩表示实际上是一种本质的低秩。尽管在实际模型中，变化量可能是一个稠密的满秩矩阵，但我们强制进行低秩分解，认为其本质上具有低秩特性，或者可以用低秩矩阵来表示这种变化。虽然单个低秩矩阵可能无法完全表示，但通过对所有模型的每个矩阵进行低秩分解，某种程度上可以表示其满秩时的变化。这涉及到一个复杂的等价关系，尽管在数学上难以精确计算，但值得深入思考。此外，这也引申出一个话题，即当前许多人提出的"革命"概念。

• 新架构在性能上超越Transformer，具有更好的学习和泛化能力。

• 新架构的革命性在于Scaling Law，而非Transformer本身。

• 神经网络和Transformer都能模拟复杂函数，导致性能竞赛难以分出胜负。

• 当Scaling Law达到瓶颈时，需要更高效的架构来减少计算量。

• LoRA利用低秩矩阵模拟满秩矩阵的变化，通过固定秩（通常为2、4、8）进行矩阵分解。

• 秩的设定可能因任务复杂度而异，固定秩并不一定限制神经网络的复杂计算。

这个新架构在性能上超越了Transformer，能够学习更多并泛化更广，即使在相同的数据集上。实际上，这种神经网络新架构的革命性并不在于Transformer本身，而是Scaling Law。无论神经网络架构如何新颖，都是在庞大的数据集中模拟复杂的函数。由于这个函数足够复杂，神经网络和Transformer都能模拟。因此，这两者之间存在一种A能做到的B也能做到的情况，这变成了一场无法取胜的比赛。只有当Scaling Law达到瓶颈，即模型性能无法再提升时，我们才需要考虑如何用更高效的架构来模拟Transformer的表现，从而减少计算量和推理的计算量。这是题外话。

总之，LoRA就是利用低秩矩阵来模拟满秩矩阵的变化。LoRA后续有许多改进，这里重点介绍我自己的工作。LoRA将一个矩阵分解成低秩和高秩部分，中间有一个固定的秩，通常设为2、4、8，多数情况下设为8，研究发现设为16并不一定更好，可能因为任务本身很简单，不需要设得太高。尽管秩是固定的，但实际上我们都知道，神经网络的计算或在大模型中的计算是一个极度复杂的过程。当我们人为设定一个秩时，它很可能是自由的。

• 提出的方法通过引入系数gating实现模型质量的动态调整。

• 当某个值低于阈值时，该值设为0，导致gating和相应矩阵的行和列变为0。

• 在LoRA基础上，模型可以进行更细致的调整，包括满值和接近全0的值。

• 推理过程中可以丢弃0值矩阵，实现动态调整。

• 该方法能够模拟复杂过程，每个矩阵的LoRA分解变化值各不相同。

• 无论是adapter、prefix tuning还是LoRA，本质上都在选择参数进行微调。

• 何俊贤老师在CMU时的工作，采用统一视角理解LoRA、prefix tuning和adapter，并用数学框架表示，发现新变体。

这里我提出了一种方法，旨在实现其质量的动态调整。具体来说，是通过在中间引入一个系数gating。例如，当一个下降量中的某个值低于某个阈值时，该值将被设为0。一旦设为0，gating本身会有一行变为0，进而导致相应矩阵的一行和一列变为0。因此，在LoRA的基础上，该模型可以实现更细致的调整，有的可能是满值，有的可能是接近全0的值。在推理过程中，我们可以丢弃这些0值矩阵。我认为这种做法相当聪明。通过这种方式，我们能够得到可以动态调整的模型，在不同位置有不同的矩阵，每个矩阵的LoRA分解变化值也各不相同，从而更好地模拟复杂过程。我们可以看到，无论是adapter、prefix tuning还是LoRA，它们本质上都在做同一件事，即选择一些参数进行微调，而其他参数保持不变。许多工作尝试用同一个视角来看待它们。这项工作是由香港科技大学的何俊贤老师在CMU时进行的，他采用了一个统一的视角，让大家理解LoRA、prefix tuning和adapter究竟在做什么，并用一个统一的数学框架表示出来，同时还能发现一些新的变体。

• 研究内容：Data Tuning的研究工作，包括理论推导和实践应用。

• 方法本质：Data Tuning方法在优化和自由控制方面本质上是相同的。

• 资源推荐：推荐在Hugging Face上查看Path库和OpenData库，其中OpenData是先开发的。

• 历史背景：在OpenData之前，Data Tuning需要直接修改模型代码，如在Bert和Roberta模型上实现超级Adapter。

刚才提到的就是我们关于Data Tuning的研究工作，实际上我们也进行了理论推导。我们发现从优化和自由控制的角度来看，这些方法本质上在做同一件事情，推导结果更为深入。如果大家对此感兴趣，可以进一步查阅相关资料。不过，Data Tuning并非本节课的重点，因此今天我们只做简要介绍。如果大家想尝试Data Tuning，可以在Hugging Face上查看Path库和OpenData库。这两个库非常有趣，实际上OpenData是我们先开发的。当时我们面临的问题是如何进行Data Tuning，需要对模型参数进行修改。在OpenData出现之前，一种做法是直接修改模型代码。例如，如果我们维护了一个Bert模型，并开发了一个名为超级Adapter的Data Tuning算法，我们需要在Bert模型上实现超级Adapter，并在Roberta模型上同样实现。这意味着我们需要在不同的模型上重复实现这些参数修改。

• Delta tuning结构的实施：从v3升级到v4，不再适用v3版本。

• 更新方式：选择通过调整计算图而非直接修改模型代码。

• 计算图修改：指定模型结构变化，修改前向和后向计算方式。

• Hugging Face的参考：可能参考了Delta tuning方法。

• 转向泛化话题：从prompt开始讨论，包括GPT-3的1750亿参数和incontent learning。

• prompt的定义和应用：可以是上下文的一部分，用于引导模型执行任务。

新的Delta tuning结构已经实施，接下来我将更新我的代码库，从v3升级到v4。这意味着之前的v3版本将不再适用。我们发现这种更新方式相当繁琐，因此我们选择不直接修改模型代码，而是通过调整计算图来改变代码。当引入Delta tuning后，我们指定模型结构的变化，并修改其计算图，包括前向和后向计算方式，从而避免直接修改代码库。对此感兴趣的读者可以查看相关实现。值得一提的是，Hugging Face的Path也采用了类似的方法，可能是参考了我们的做法，具体情况可以询问Hugging Face团队。

关于tuning的讨论到此结束，接下来我们将转向另一个话题------泛化。如果大家还记得，我们将从prompt开始讨论。例如，当GPT-3发布时，它拥有1750亿参数，无法进行微调，这一点之前已经提到过。我们通过描述任务来引导它执行，这种描述就是prompt。我们也可以在描述任务后提供一些例子，进行所谓的incontent learning，这些例子同样属于prompt。本质上，prompt可以是上下文的一部分，这里我们主要指的是上文。任何内容都可能被视为prompt。例如，当我们告诉XGPT这是一篇论文，并要求它阅读并指出最重要的部分时，这也是一种prompt的应用。

• 概念转变：GPT-3之前，模型训练主要依赖传统机器学习方式；GPT-3后，引入通过上下文描述任务的新方法。

• 任务描述方式变化：从依赖高维空间和流形定义任务（如情感分类）转变为使用语言或token直接描述任务。

• prompt learning的兴起：将各种任务转化为语言建模任务，缩小了上下游任务的差距，使得小模型也能有效工作。

• 发展至instruction tuning：从少样本单任务学习发展到跨任务零样本泛化，不再区分具体任务。

• 后续研究：由OpenAI、HuggingFace和Google等机构继续推进。

这篇论文中，每一个token组合起来也是一个prompt。在GPT-3出现之前，我们似乎没有这个概念。因为在此之前，我们使用预训练模型时，仍然采用传统的机器学习方式。然而，有了GPT-3之后，我们开始意识到可以通过增加上下文来描述我们想要完成的任务，而不仅仅是依赖训练集进行训练。例如，我们之前的任务是情感分类，需要在高维空间中表示，并定义一个流形，其中落在左边的为类别A，右边为类别B。现在，我们通过使用语言或token来明确描述我们想要完成的任务。这导致了prompt learning的出现，即将任何任务（如情感分类、实体识别、知识探测）转化为语言建模任务，使得下游任务和上游任务之间没有差距。这种方法证明，即使在小模型上也能有效工作。通过添加prompt并调整一些参数，模型可以用非常少的样本来完成原本需要大量样本才能完成的任务。这种prompt learning后来演变为instruction tuning，即从单任务的少样本学习转变为跨任务的零样本泛化。简而言之，在prompt learning阶段，我们希望用少样本完成单任务，而在instruction tuning阶段，我们追求跨任务泛化，甚至不再区分任务的概念。后续的相关工作由OpenAI、HuggingFace和Google等机构进行。

其实当时我们也发现了类似的现象，即指令微调可以带来跨任务的领域泛化。这里其实也非常简单，就是我在上面这两个任务上训练了之后，然后没有见过下面的任务，下面的任务上它也能表现得非常好。

• 指令微调与传统多任务学习的主要区别在于输入形式，使用不同的提示（prompts）和扩大输出空间。

• 指令微调通过将任务数据转化为更模糊的形式，实现在更多任务上的评测。

• 更大的模型或更多的数据能提升指令微调效果，如OpenAI的InstaGPT。

• 指令微调是实现零样本泛化的关键技术，使模型在没有特定训练的情况下也能执行任务。

这就是指令微调的基本概念。现在大家可以思考一下，指令微调和传统的多任务学习，甚至是GPT-2所强调的多任务学习，究竟有何不同？实际上，它们之间确实存在差异。这种差异主要体现在指令微调的输入形式上。在指令微调中，我们使用不同的提示（prompts），即由不同人编写的上下文来代表任务。此外，我们扩大了输出空间，不仅仅是在ABC任务上训练和评测，而是在更多的任务上进行评测。我们将来自任务的数据转化为与任务关系越来越模糊的形式。这就是指令微调的作用。

指令微调还表明，更大的模型或更多的数据（尽管关于更多数据的争议仍然存在）确实能带来更好的指令微调效果。OpenAI的XGPT的前身，InstaGPT，就是通过结合指令微调和人类反馈的强化学习实现的。因此，我们现在讨论了预训练和后训练，最终讲到了指令微调，我们离构建出XGPT只有一步之遥。

最后，我想强调的是，当前大语言模型的核心能力来源于指令微调带来的零样本泛化。通过指令微调，我们发现模型能够跨任务进行零样本泛化，即在没有学习过翻译的情况下也能进行翻译，这促成了我们现在所有的大语言模型。所有可见的语言模型都离不开这一关键技术。

• 自ChatGPT和GPT-4发布后，许多大型运营模型迅速出现，涉及众多科技公司和人工智能研究机构。

• 这些模型均采用指令微调的基本框架，并利用其优势。

• 著名模型包括Alpaca和BQNA。

• 作者在疫情期间尝试微调了一个对话模型，体验其多轮对话和多任务处理能力。

自从ChatGPT和GPT-4发布后，众多大型运营模型如雨后春笋般涌现。这些模型几乎涵盖了所有科技公司和人工智能研究机构，它们各自开发了独特的模型，但无一例外地都遵循了指令微调的基本框架，并充分利用了指令微调带来的优势。其中，较为著名的模型包括Alpaca和Vicuna。值得一提的是，在ChatGPT刚发布时，正值疫情期间，我还在读博，寒假期间我独自在家，对ChatGPT的实现方式感到好奇。我尝试自己微调了一个对话模型，亲自体验其多轮对话和多任务处理的能力。

• 工具开发门槛低：使用少量数据和简单微调即可开发出多任务对话工具。

• 内部讨论未公开：相关发现仅在内部讨论，未对外公开。

• 斯坦福Alpaca项目：采用自指令方法，通过种子数据生成更多数据进行微调，开发出遵循人类指令的模型。

• Vicuna项目：使用真实世界中人与ChatGPT对话的数据进行微调，效果与ChatGPT相当。

• 指令微调趋势：转向数据生成，方法主要是监督微调，预测下一个Token输出。

• UltraChat项目：开发思路不追求特定任务最佳效果，而是基于Token序列构建数据。

发现实现这样一个强大的工具，其门槛确实非常低。即使使用很少的数据，只需进行简单的微调，它就能具备多端对话的能力，也能执行不同的任务。然而，这一发现仅限于我们内部讨论，并未公开发布。斯坦福的Alpaca项目则采用了自指令方法，通过种子数据生成更多数据，并在这些数据上进行微调，从而开发出一个能够遵循人类指令并完成各种任务的模型。而Vicuna则更进一步，使用真实世界中人与ChatGPT对话的数据进行微调，这种方法被称为ShareGPT。结果显示，其效果与ChatGPT相当。因此，在指令微调层面，大家更多地转向了数据生成，因为方法本身并无太大差异，都是通过监督微调，给定输入并预测下一个Token的输出。此外，我们还开发了一个名为UltraChat的项目。在开发UltraChat时，我的思路非常明确，并非为了在特定任务上达到最佳效果，而是不再通过任务来构造数据，因为任务本质上就是一系列Token。

• 人类与机器交互的三种主要类型：

  • 信息提取：从现有资源如维基百科获取知识。

  • 信息创造：如生成新的诗歌。

  • 信息转化：如对材料或论文进行总结。

• 在交互过程中，通常不特别区分具体的任务类型。

我们需要深入探讨的是人类与机器之间的交互方式。从信息处理的角度来看，这种交互主要分为三种类型。首先，是信息的提取，这包括从现有资源中获取知识，例如维基百科或其他搜索结果中的数据。其次，是信息的创造，例如让模型生成一首关于蛋白质的十四行诗，这种诗以前从未被创作过。最后，是信息的转化，例如对给定的材料或论文进行总结和提取。在这个过程中，我们通常不会特别关注具体的任务类型，尽管在更细致的层面上可能会有所区分。

他实际上在不知不觉中完成了许多扩散出来的任务。当时我们训练的模型效果其实也是很好。

• UltraChat是首个在斯坦福AlpacaEval上超过80分的开源模型。

• UltraChat的设计理念是摒弃任务概念，将所有内容转化为信息流或人机对话。

• 另一个极端是极致发挥任务概念，如Flan任务，通过GPT-4生成数据。

• UltraChat和Orca虽然方法极端，但最终都模糊了任务概念。

它是第一个在斯坦福的AlpacaEval上超过80分的开源模型。当然现在几乎大家都能超过80分了，甚至都能超过90分了。然后当时它的效果应该也是开源中最好的。这就是我们做的UltraChat。我们可以看到UltraChat的思想是，我不要任务的概念。我啥都转化成信息流，或者说信息人和机器对话的本身。这是一个极端。我们还可以做另一个极端，就是我们把任务的概念发挥到极致。比如说有个刚才之前提到的任务叫Flan。我们可以把Flan里面可能有几千个任务。我们把里面所有的任务，每一个任务都拿出来，把Prompt拿出来。用GPT-4给它做回答，然后生成一波这种数据。所以说这两个其实大家想想非常有意思。UltraChat和Orca两个极端，但是好像在做同一件事情。不管我是一开始就模糊任务，还是我把任务做到极致，其实也是在一种，其实也就没有了任务。你就把任务本身给模糊化了。然后它就把所有的这种输入出来，拿出来用GPT-4做。

• 模型微调中，主要工作是构建数据集，包括输入和输出。

• 存在争论关于指令微调所需数据量：

  • UltraChat和Orca使用数百万条数据。

  • Instrata GPT仅使用一万多条数据。

  • Lima研究表明少量高质量数据即可获得优异效果。

• 争论焦点：数据量越少越好还是越多越好。

• 有人质疑指令微调是否能学习新知识。

在对话、推理和数学等领域，当前大家在进行模型微调时，主要工作是构建数据集，包括数据的输入和输出。这里存在一个有趣的争论：一些研究者认为，不需要大量数据来完成指令微调。例如，UltraChat和Orca使用了数百万条数据，而Instrata GPT仅使用了一万多条。此外，Lima的研究表明，使用少量高质量数据即可获得优异效果。这引发了一个争论，即指令微调所需数据量的问题，有人认为越少越好，有人则认为越多越好。此外，还有人提出指令微调可能无法学习新知识等观点。实际上，这个问题具有重要意义。

• 作者认为在指令微调中，数据量越多越好，因为数据越多模型能学到更多期望的内容。

• 作者提到高质量数据在少量情况下表现与大量数据时相同，这可能是评测方式的问题。

• 作者举例说明高质量数据的定义，如模型A正确回答"蒙娜丽莎是谁画的？"为"达芬奇"。

现在我们也可以讨论一下，我认为在指令微调中，数据量肯定是越多越好。数据越多，模型才能学到更多期望的内容。很多时候，高质量数据在少量情况下表现与大量数据时相同，我认为这主要是评测方式的问题。大家可以思考一下，什么叫高质量数据。例如，我问"蒙娜丽莎是谁画的？"模型A的回复是"达芬奇"。

• 达芬奇是意大利艺术家，生于1452年，逝于1519年，代表作有《蒙娜丽莎》和《最后的晚餐》。

• "高质量"概念依赖于评测标准，越接近标准质量越高。

• 模型在指令微调和监督微调中，数据量和质量越多越好，能学到新知识。

• 知识由人类定义，模型参数更新能学到新东西。

• 指令微调研究中，零样本泛化机制尚不明确，包括其发生步骤、所需数据量及定义问题。

模型B回复是，达芬奇是一位艺术家，生于1452年，逝于1519年，出生于意大利。他的代表作品包括《蒙娜丽莎》和《最后的晚餐》。关于"高质量"这一概念，有人可能认为A是高质量的，但这实际上是一个伪命题，因为高质量可能与评测方式有关，越接近评测标准，质量就越高。因此，我们使用所谓的高质量数据在我们设定的评测标准上进行评测，其结果很可能是良好的。无论如何，模型在指令微调和监督微调的过程中，数据和预训练一样，越多越好，质量也是越多越好，同时也能学到新的知识。所谓的知识也是由人类定义的，什么是知识，但模型的参数确实更新了，因此也能学到新的东西。这就是关于指令微调的一切。目前，指令微调的研究仍在进行中，许多谜团我们尚未能完全解释，例如零样本泛化究竟发生在哪一步，需要多少数据来完成零样本泛化，以及零样本泛化本身是否真的是零样本泛化。现在我们可以开始思考这个问题，我们在任务A上训练完成后，它在任务B上表现良好，但实际上任务是我们自己定义的吗？是否有更本质的定义方式来解释这个问题呢？可能是由于某些token重叠，或者某些token在语义上相同。

• 在A训练网才能在B表现好。

• 指令微调后，模型基于人类反馈的强化学习（RLHF）。

• RLHF使模型能遵循人类指令，模型已非常强大。

在A训练网才能在B表现好。在指令微调过后，我们现在要说的就是大家更加耳熟能详的，基于人类反馈的强化学习（RLHF）。基于人类反馈的强化学习，这张图相信大家看过很多遍了。简单来说，我们是先进行微调一个模型，然后这个模型本身已经非常强大，它可以遵循人类的指令了。

• 使用成对比较的方式训练模型，通过最小化函数最大化赢的奖励分数和输的奖励分数之间的差值。

• 奖励模型输出一个标量分数，分数高表示好，低表示坏。

• 使用RLHF（PPO算法）更新模型，包含两个公式：

  • 前一项最大化模型输出的分数。

  • 后一项通过KL散度确保模型参数不偏离原参数太远，防止模型崩溃。

• PPO算法在实际操作中较为复杂，需要工程上的细节优化。

A大于B，S1比S3好，S3比S2好。这里我们可以看到，可以如何训练呢？我们可以直接使用这种成对比较的方式来训练。我们最小化这个函数，这样实际上是最大化赢的奖励分数和输的奖励分数之间的差值。将其最大化后，我们就能得到这样一个奖励模型。对于任何一个输入和输出，它输出一个标量，这个标量就是它的分数。分数高即为好，低即为坏。从而我们就能将奖励模型应用于各个领域，以得到更好的样本。现在使用奖励模型，我们就可以进行打分。那么我们如何更新原有模型呢？这时我们使用RLHF，即所谓的PPO算法。PPO算法包含两个公式。首先，我们知道奖励模型本身具有打分功能。然后我们又加入了一项，这一项也很简单。前一项旨在提高模型输出的分数，我们最大化这个损失函数就是为了实现这一点。后一项则是确保模型更新后的参数不偏离原来的参数太远，通过KL散度来实现，以防止模型参数偏离过远，从而避免模型崩溃。然而，实际操作中的PPO算法较为复杂，需要许多工程上的细节才能实现得特别好。现在，我们就可以构建出一个ChatGPT，其实就是这些步骤。

• 强大的能力构建方式简单，信息公开。

• 构建步骤包括Instruction Tuning和RLHF。

• 最新研究表明，Reward Model并非必需。

• 可以通过数学推导去除Reward Model，实现自我评分。

• 新公式分为获胜数据和失败数据的奖励，优化两者差异。

• 这种方法称为DPO，不需要Reward Model。

能力如此强大，正如我们前面所言，但其构建方式实际上相当简单。这些信息都是公开的，没有任何保密内容。例如，这一步是Instruction Tuning，下一步则是进行RLHF（Reinforcement Learning from Human Feedback）。然而，最近的研究表明，Reward Model，即评分模型，并非总是必需的。例如，我们可以通过数学推导，去除Reward Model，让模型自我评分，进而推导出新的公式。在这个公式中，前半部分代表获胜数据的奖励，后半部分则代表失败数据的奖励。通过优化这两者之间的差异，我们同样在进行RLHF的过程，此时这种方法被称为DPO（Direct Preference Optimization），它不需要Reward Model。

• DPO和PPO在效果上基本相同，且已被广泛应用。

• RHF使用难度大，但在DPO和Zephyr出现前，开源社区中使用较少。

• RHF的重要性在于提供A比B好的信号，帮助模型理解人类偏好。

• 尽管RHF被多家大公司使用，但在开源社区中，只有Llama2大规模运用了RLHF。

实际上，我们通过比较原始模型和更新后的模型，可以计算出它们的评分。实验证明，DPO和PPO的效果基本相同，并且已被广泛应用。由于RHF的使用难度较大，DPO的出现使得偏好学习得到了大规模的应用。尽管RHF被OpenAI、SRP和Google等公司广泛使用，但在DPO或Zephyr出现之前，开源社区中使用RHF的情况非常少。这是因为缺乏数据且训练难度大。然而，为什么需要RHF呢？因为即使模型能够正确执行任务，也不一定能得出我们真正想要的结果。人们有时并不清楚自己真正想要什么，只知道某些偏好。因此，我们需要给模型提供A比B好的信号，即A的评分高于B，这是RHF的重要性所在。尽管之前有许多关于RHF的论文发表，但在开源社区中，只有Llama2大规模地运用了RLHF。

• 提出了Ultra系列数据集，包括Ultra Feedback等。

• 未使用RLHF，而是采用了RLAAF方法。

• 通过收集指令和回复池，进行打分和回复，构建了大规模数据集。

• 至少有1000个以上的模型使用了Ultra系列数据进行对齐。

在很多任务上的表现可能并没有那么出色。因此，这时候我们需要的就是数据。我们也是做了一个Ultra系列的数据，名为Ultra Feedback。我们没有使用RLHF，而是使用了RLAAF。这相当于去收集指令池和回复池，然后进行打分和回复。通过这种方式构造了一个超大规模的数据集。现在几乎很多模型都会使用Ultra系列的数据来进行对齐。具体模型数量不详，但至少有1000个以上的模型使用了我们的数据。此外，还有Ultra Chat、Ultra Feedback和Ultra Interactive等数据集。

• 新方法在开源社区中非常流行，涉及数据和对齐方案。

• 该方法已支持超过1000个模型的使用，实际数量可能更高。

• 这些模型在Hugging Face上的下载量超过100万次。

• 使用频率排名中，Auto Feedback位列第五，Auto Chat位列第九。

这是我们最新的方法，但今天不详细讨论。它可以说是目前开源社区中最流行的数据和对齐方案之一。实际上，我们的工作已经支持了超过1000个模型的使用。尽管我知道实际数量可能更多，因为许多未公开的项目也可能使用了我们的数据。这些模型在Hugging Face上的下载量已超过100万次。如果我们查看使用频率的排名，Auto Feedback位列第五，Auto Chat位列第九。其他高排名的是如ImageNet和Wikipedia等广泛使用的数据集。

• 偏好学习（RLHF）：为大模型提供微妙的监督信号，指示A优于B。

• 扩展理解：通过理解模型中的偏好，可能扩展到理解宇宙信息和人类价值观。

• 学习方法的重要性：强调偏好本身的重要性，不限于特定方法（如PPO、DPO），甚至可能通过SFT学习偏好。

• 训练阶段：包括预训练（无监督语料）、后训练（有监督数据）和superalignment（待详细讲解）。

接下来我们将进行一个总结。RLHF，或者说称为Preference Learning，即偏好学习，它为大模型提供了一种超越答案的更为微妙的监督信号。它实际上是在告诉大模型A优于B。我们采用类似之前的思路进行扩展。当我们知道A优于B时，通过不断扩展，我们可能能够理解模型，进而理解整个世界，整个宇宙的信息。当我了解到宇宙中什么是更好的，我就隐含地学到了人类的价值观是什么样的，人类希望我具备什么样的能力，人类希望我的数学水平达到什么样，这些都隐含地被学习到。因此，无论是RLHF、PPO、DPO还是其他各种Po，其本质最重要的是偏好本身。很多时候，你甚至不需要Po，可能只需要SFT，通过不同的方式进行SFT也能学习到这种偏好。今天的课程到这里就结束了，我们讲了预训练，模型在大规模无监督语料上进行预训练，然后是后训练，在有监督的数据上进行学习。后面其实还有一个superalignment，这里我做了PPT，但后面会有一节课专门来讲这个内容。简单来说就是。

• 模型在某些能力上超越人类，如快速总结大量书籍。

• 确保模型没有采取捷径或隐藏行为的重要性。

• 缺乏监督信号导致难以判断模型输出的正确性。

• 超级对齐关注能力对齐和安全性，包括防止模型进行未监测的行为。

大家可以先思考一下，当模型在某些能力上超越人类时，例如总结一百本书，模型不仅做得更好，而且速度更快。在这种情况下，我们如何确保模型没有采取捷径或隐藏行为？当我们要求模型总结一百本书时，由于无法提供监督信号，我们无法判断其结果的正确性。模型可能表面上看起来正确，但并非我们期望的答案。因此，超级对齐关注的不仅是能力上的对齐，还包括安全性，例如模型是否可能进行未被监测的行为，如篡改代码或自我复制，甚至窃取能源。这些内容将在后续课程中详细讨论。今天的课程到此结束，谢谢大家。