机器学习的四种范式

机器学习的四种范式

机器学习有很多算法和技术，但如果想从整体上理解它们，可以先问一个问题：模型在训练过程中，依据什么信号判断自己的行为是否符合目标？

这是理解四种常见学习范式的一条重要主线。

人工提供正确答案，叫监督学习；没有人工标签，主要从数据中发现结构，叫无监督学习；从数据本身构造训练目标，叫自监督学习；通过与环境交互，根据奖励调整行为，叫强化学习。

这四种范式并不是对所有机器学习方法的穷尽分类，但它们涵盖了许多经典算法和现代人工智能系统的核心思路。

范式	学习信号从哪来	典型任务	主要成本与挑战
监督学习	人工标注的答案	分类、回归	标注成本、标签质量、泛化能力
无监督学习	数据本身的结构与分布	聚类、降维、关联规则	结果解释、效果评估、参数选择
自监督学习	从数据中构造的训练目标	语言预训练、掩码重建	计算资源、数据质量、训练目标设计
强化学习	智能体与环境交互产生的奖励	下棋、机器人控制	探索、信用分配、奖励设计

一、监督学习

监督学习使用带有标签的数据训练模型。给定一组数据 ((x,y))，模型需要学习一个函数 (f)，使预测结果 (f(x)) 尽可能接近真实答案 (y)。

其中，(x) 表示输入，(y) 表示标签。

经典的 Iris 鸢尾花数据集就是一个入门例子：它包含 150 个样本，每个样本有 4 个数值特征，分别是花萼长、花萼宽、花瓣长和花瓣宽，目标是判断鸢尾花所属的品种。

根据标签的形式，监督学习通常分为两类：

• 分类：预测离散类别。例如垃圾邮件识别、工单意图识别、判断图片中是否有猫。
• 回归：预测连续数值。例如房价、销量和温度预测。

对于使用梯度下降训练的神经网络，典型训练过程可以分为四步：

1. 前向传播：利用当前参数计算预测结果。
2. 计算损失：衡量预测结果与真实标签之间的差异。分类任务常用交叉熵，回归任务常用均方误差。
3. 反向传播：计算损失对模型参数的梯度。
4. 更新参数：使用优化算法调整参数，使损失逐步降低。

重复这个过程，模型便能从训练数据中学习规律。需要注意的是，损失下降不代表模型一定越来越好，还需要结合验证集观察其泛化能力。

三个常见问题

1. 标签质量会影响模型效果。

如果训练数据中存在大量错误标签，模型可能学习到错误规律。但标签质量并不是决定模型效果的唯一因素，数据覆盖范围、模型能力、训练方法和测试数据分布同样重要。

2. 过拟合。

如果模型在训练集上表现很好，却在测试集上表现较差，就可能出现了过拟合。

常见解决方法包括增加训练数据、使用正则化、适当降低模型复杂度，以及通过验证集或交叉验证选择超参数。

3. 类别不平衡。

假设某个数据集中，99% 的样本属于正常交易，只有 1% 属于欺诈交易。如果模型始终预测正常交易，准确率仍然可以达到 99%，但它完全没有识别出欺诈交易。

因此，类别不平衡时不能只看准确率，还应结合精确率、召回率、F1 分数等指标评估模型。

二、无监督学习

无监督学习通常不依赖人工提供的目标标签，而是尝试从数据本身发现结构、分布或潜在规律。

它关注的问题包括：哪些样本具有相似特征？数据主要沿哪些方向变化？哪些项目经常共同出现？

1. 聚类

聚类的目标是将相似的数据划分到同一组中。

以 K-means 为例，其基本过程如下：

1. 指定聚类数量 K，并初始化 K 个聚类中心。
2. 将每个样本分配给距离最近的聚类中心。
3. 根据每个簇中样本的均值更新聚类中心。
4. 重复分配与更新，直到满足收敛条件或达到迭代次数上限。

K-means 有三个典型局限：

• 需要指定 K：聚成几类通常需要提前决定，或者通过额外方法选择。
• 对初始化敏感：不同的初始中心可能导致不同结果，K-means++ 可以改善初始化，但不能保证找到全局最优解。
• 对簇的形状存在限制：它主要优化簇内平方距离，对非球形簇、密度差异较大的数据往往不够理想。

2. 降维

降维是将高维数据转换为较低维度的表示，以便降低计算成本、消除部分冗余，或者辅助数据可视化。

PCA，即主成分分析，通过寻找数据中方差较大的正交方向，将数据投影到较低维空间。

例如，将几十维的数据压缩到二维，可以方便地绘制散点图，观察样本分布。

但需要注意：方差较大不等于对业务任务最重要。

PCA 是一种线性降维方法，降维后的主成分通常是原始特征的线性组合。因此，新的维度未必具有直观的业务含义，也不能仅凭 PCA 保留的方差判断其对分类或预测任务的实际价值。

3. 关联规则

关联规则用于发现不同项目之间的共现关系。

例如，在购物记录中，可以统计购买商品 A 的订单是否经常同时包含商品 B，并使用支持度、置信度和提升度等指标分析这种关联。

常见算法包括 Apriori 和 FP-Growth。

需要注意，关联关系不等于因果关系。即使两种商品经常同时出现，也不能直接得出购买其中一种会导致购买另一种的结论。

无监督学习如何评估？

无监督学习通常没有现成的标准答案，因此评估往往比监督学习更复杂。

聚类可以使用轮廓系数等内部指标衡量簇内紧密程度和簇间分离程度，也可以在存在外部参考标签时使用相应的外部指标。

不过，指标表现较好不一定代表结果具有业务价值，最终还需要结合实际任务进行解释和验证。

例如，电商系统通过用户购买记录聚出几类人群后，得到的可能只是编号为 0、1、2 的几个簇。运营人员根据这些人群的行为特征，将其中一组命名为"高频购买用户"。

这里必须区分两件事：模型发现的是数据中的结构，业务人员赋予的是结构的解释。

模型聚出一个簇，并不意味着它天然理解了这个簇所代表的业务概念。

三、自监督学习

自监督学习不要求人工为每个样本提供标签，而是从数据本身构造训练目标，让模型通过预测、重建或匹配等任务学习有用的表示。

它的核心特点是：训练过程中存在明确的监督信号，但这个信号不是由人工逐条标注出来的，而是由数据和任务设计产生的。

三种常见方式

1. 掩码预测

在输入文本中遮住部分词语，让模型根据上下文预测被遮住的内容。

BERT 的经典预训练目标之一就是掩码语言建模，即 Masked Language Modeling。

2. 下一 token 预测

给模型一段文本，让它根据前面的内容预测下一个 token。

GPT 系列语言模型的典型预训练方式就是自回归语言建模。这里的 token 可以是一个词、词的一部分或其他文本单元，不一定等于完整的自然语言词语。

3. 加噪与去噪

向图像等数据加入噪声，再训练模型预测噪声或逐步恢复数据。

许多扩散模型采用这类训练思路，通过学习去噪过程生成新的样本。

自监督与无监督有什么关系？

自监督学习通常被视为不依赖人工标签的一类学习方法，与无监督学习存在密切联系。但两者的侧重点不同：

• 无监督学习强调不依赖人工提供的目标标签，直接发现数据中的结构或规律。
• 自监督学习强调从数据本身构造训练目标，再通过明确的损失函数优化模型。

因此，自监督学习的训练形式往往很像监督学习，但监督信号的来源不同。

自监督学习的成本转移

自监督学习能够利用大量原始文本、图像、音频和代码训练模型，减少对人工逐条标注的依赖。

但它并不是没有成本。数据采集、清洗、存储、计算资源和训练过程都需要投入。

可以将其理解为：在一定程度上用计算成本换取对人工标注的依赖降低。

不过，这种替代并不完全。高质量的人工标注在模型微调、效果评估和安全测试等环节仍然十分重要。

自监督与半监督的区别

半监督学习通常同时利用少量带标签的数据和大量未标注的数据，具体方法可以包括伪标签、正则化和一致性训练等。

自监督学习则通过数据自身构造训练目标，不要求先拥有人工标注的标签。

两者可以结合使用，但不能简单地根据有没有伪标签或标签数量来区分。

四、强化学习

强化学习研究智能体如何通过与环境交互，学习能够获得较高长期累计奖励的行为策略。

与监督学习不同，强化学习通常没有一份覆盖所有状态的标准答案表，告诉模型每一步必须采取什么动作。

它主要涉及三个概念：

• 状态（State）：描述智能体当前所处的局面。
• 动作（Action）：智能体可以采取的行为。
• 奖励（Reward）：环境根据交互情况返回的反馈。

强化学习的目标通常是最大化长期累计奖励。在常见的折扣回报设定中，未来奖励会乘以折扣因子，以控制远期奖励对当前决策的影响。

强化学习的难点之一是信用分配（Credit Assignment）。

假设一个智能体连续采取了几十个动作，最后才获得奖励。它需要判断哪些先前的动作对最终结果产生了积极或消极的影响。

不过，并不是所有强化学习任务都只有终局奖励。有些任务会在每一步返回奖励，另一些任务的奖励则比较稀疏，可能要经过较长时间才能获得。

另一个难点是探索与利用（Exploration vs. Exploitation）。

如果智能体始终选择当前已知的最佳动作，就可能错过更好的策略；但如果频繁尝试新动作，也可能浪费资源，甚至带来风险。

因此，强化学习需要在利用已有经验与探索未知行为之间取得平衡。

奖励设计为什么重要？

强化学习的优化目标取决于奖励机制。如果奖励与真正想实现的目标不一致，模型就可能找到投机取巧的策略。

例如，推荐系统如果只追求用户停留时长，就可能倾向于推荐让用户持续停留、但未必真正有价值的内容。

这种现象常被称为奖励破解（Reward Hacking）。它不一定意味着模型发生了程序错误，而可能是模型找到了符合形式化奖励、却偏离真实意图的行为。

AlphaGo：监督学习与强化学习的结合

AlphaGo 展示了不同学习方法如何协同工作。

早期 AlphaGo 使用人类棋谱进行监督学习，学习模仿职业棋手的落子方式；随后结合强化学习，通过自我对弈进一步改进策略。

监督学习提供了有价值的初始策略，强化学习则帮助系统通过对局结果持续优化。

AlphaGo Zero 采用了不同的路线：不使用人类棋谱作为训练数据，而是从围棋规则出发，通过自我对弈、强化学习和搜索逐步提升棋力。

论文报告的实验结果表明，经过约 40 天的训练，AlphaGo Zero 以 100:0 的比分击败了当时的 AlphaGo Lee 版本。

这并不意味着强化学习在所有任务中都比监督学习更好，而是说明在规则明确、可以反复交互并获得结果反馈的任务中，强化学习有机会通过自我探索发现超越已有示范数据的策略。

五、大模型的三个典型训练阶段

理解了四种学习范式，就可以进一步理解现代大语言模型的常见训练流程。

需要先说明：并非所有模型都严格采用以下三个阶段，但预训练、监督微调和偏好对齐是理解许多大模型训练流程的重要框架。

1. 预训练：自监督学习

大语言模型通常在大量文本数据上进行预训练。

以自回归语言模型为例，它根据前面的 token 预测下一个 token，通过不断减小预测损失学习语言的统计规律、上下文关系以及其他有用的信息表示。

这个阶段不需要为每个预测目标额外人工编写标准答案，因为后续 token 本身就可以作为训练目标。

不过，预训练学到的并不只是语言表达方式，还会受到训练数据、模型结构和训练目标等因素的影响。

2. 监督微调（SFT）：监督学习

预训练完成后，模型可能已经具备较强的文本生成能力，但未必擅长按照用户指令完成任务。

监督微调通常使用人工编写或经过筛选的指令与回答数据进行训练，让模型学习如何遵循指令、组织回答以及完成指定任务。

例如，训练数据可以包含一个问题及其对应的参考回答，模型通过预测参考回答中的 token 来计算训练损失。

因此，SFT 的核心是利用示范数据，让模型学习符合预期的输出方式。

3. 偏好对齐：让输出更符合人类偏好

即使模型能够遵循指令，也不代表它的回答总是有帮助、准确、安全。

偏好对齐尝试利用人类或其他评价机制提供的偏好信息，进一步调整模型的输出行为。

这里有两种值得了解的技术：RLHF 和 DPO。

RLHF：基于人类反馈的强化学习。

经典的 RLHF 流程通常包括：

1. 收集偏好数据，例如针对同一个问题，让评价者比较两个回答并选择更好的一个。
2. 使用偏好数据训练奖励模型，使其能够估计回答的相对质量。
3. 使用 PPO 等强化学习算法优化语言模型，使其生成的回答获得更高的奖励，同时通过约束机制控制模型偏离参考模型的程度。

经典 PPO 训练流程可能涉及策略模型、参考模型、奖励模型和价值模型等多个组件，训练与调参的复杂度相对较高。

DPO：直接偏好优化。

DPO 于 2023 年提出。它利用偏好数据直接优化模型，使模型更倾向于生成被偏好的回答。

与经典的 RLHF 加 PPO 流程相比，DPO 不需要显式训练一个独立的奖励模型，再通过 PPO 优化策略，因此可以简化部分训练流程。

但这不意味着 DPO 与所有 RLHF 方法完全等价，也不意味着 DPO 在任何任务上都更好。具体方法仍然需要根据数据质量、训练资源和目标进行选择。

三个阶段究竟有什么区别？

可以将它们概括为：

• 预训练：从大量原始数据中学习通用规律。
• 监督微调：从示范答案中学习如何完成指令。
• 偏好对齐：利用偏好信息调整回答行为，使输出更符合预期。

这三个阶段使用的训练信号不同，人工参与方式、数据需求和计算成本也不同。

尤其需要注意，偏好对齐并不一定比监督微调更少依赖人工反馈。偏好数据本身可能需要大量人工比较和质量控制。

六、四种范式最容易混淆的三个地方

1. 自监督学习与无监督学习

两者都可以在不依赖人工标签的情况下开展训练，但侧重点不同。

无监督学习通常关注发现数据的结构和规律；自监督学习则从数据自身构造训练目标，通过显式的预测或重建任务优化模型。

因此，自监督学习的训练过程可以具有监督学习的形式，但不需要人工为每个样本提供目标标签。

2. 奖励与标签

标签通常直接告诉模型某个样本对应的目标答案，例如图片属于猫还是狗。

奖励则用于评价智能体的行为或结果，可以是即时反馈，也可以延迟到多个动作之后才出现。

标签与奖励并非绝对互斥的概念，但在典型监督学习和强化学习中，它们承担着不同的作用。

由于奖励可能延迟到达，强化学习需要处理信用分配问题；由于智能体需要探索未知行为，它还需要考虑探索与利用之间的平衡。

3. 无监督学习不等于完全不需要人工参与

无监督学习不依赖人工提供的目标标签，但人仍然需要决定使用什么数据、选择什么算法、设置哪些参数，以及如何解释结果。

例如，聚类算法可以发现若干数据簇，但这些簇是否具有业务价值，仍然需要结合具体任务进行判断。

因此，更准确的说法是：无监督学习不需要人工逐条提供标准答案，而不是整个学习过程完全不需要人的参与。

七、总结：从学习信号理解机器学习

监督学习、无监督学习、自监督学习和强化学习，是理解机器学习的重要视角。

它们的主要区别可以概括为：

• 监督学习：利用人工提供的标签学习输入与目标之间的映射关系。
• 无监督学习：从数据本身发现结构、分布或潜在规律。
• 自监督学习：从数据自身构造训练目标，利用预测、重建等任务学习表示。
• 强化学习：通过与环境交互，根据奖励学习能够获得较高长期回报的策略。

四种范式并不是互相排斥的技术。实际系统经常将它们结合起来，例如先使用自监督学习进行预训练，再使用监督学习微调，最后通过偏好优化调整模型的输出行为。

因此，理解机器学习时，不必一开始就记住所有算法的名称。先明确一个问题：模型究竟依据什么信号学习？再去理解它的训练目标、优化方法和适用场景，整个知识体系就会清晰得多。

一句话记忆：人工提供目标是监督，从数据中发现结构是无监督，从数据中构造目标是自监督，通过环境反馈优化行为是强化学习。