最近出现了很多"学习方法"，比如零样本学习，对比学习等。层出不穷，比较好奇为什么会出现这么多的"学习方法"。这里简单整理一下。
有哪些新型学习范式？
这里列举一些相对传统的监督学习/无监督学习比较新的学习范式，如下表所示：
| 学习范式 | 核心思想 | 典型方法 / 代表模型 | 主要应用场景 | 解决的关键问题 |
|---|---|---|---|---|
| 自监督学习（Self-Supervised Learning） | 利用数据自身构造监督信号，无需人工标签 | BERT, SimCLR, MoCo, MAE | NLP、CV、语音 | 缺乏大量标注数据；预训练通用表征 |
| 对比学习（Contrastive Learning） | 拉近正样本对、推开负样本对，学习判别性表示 | SimCLR, MoCo, CLIP | 多模态对齐、表征学习 | 表征缺乏判别性；无监督下难优化 |
| 零样本学习（Zero-Shot Learning） | 识别训练未见类别，借助语义先验（如文本） | CLIP, ALE, SJE | 开放世界分类、跨模态检索 | 新类别无法获取训练样本 |
| 小样本学习（Few-Shot Learning） | 用极少量样本（1~5个）快速适应新任务 | Prototypical Nets, MAML | 医疗、工业检测 | 标注成本高、样本稀缺 |
| 弱监督学习（Weakly Supervised Learning） | 使用不完整/不精确/含噪标签进行学习 | Mean Teacher, MIL, Noisy Student | 图像级标签分割、噪声鲁棒学习 | 标注质量低或粒度粗 |
| 持续学习（Continual Learning） | 序列任务中持续学习，避免遗忘旧知识 | EWC, GEM, Replay | 机器人、个性化系统 | 灾难性遗忘；静态训练假设失效 |
| 因果学习（Causal Learning） | 建模因果机制而非统计相关 | IRM, CausalNex, Do-Calculus methods | 领域泛化、可解释AI | 分布外泛化差；依赖虚假相关 |
| 检索增强学习（如 RAG） | 推理时动态检索外部知识辅助决策 | RAG, RETRO, Atlas | 问答、知识密集型任务 | 模型知识固化、产生幻觉 |
| 基于提示的学习（Prompting） | 将任务转为填空/指令形式激发大模型能力 | GPT, T0, FLAN | 零样本 NLP、指令微调 | 微调成本高；提升通用性 |
| 具身/交互式学习 | 智能体通过与环境交互主动获取经验 | World Models, SIMBot | 机器人、仿真智能体 | 缺乏真实世界常识 |
| 主动学习（Active Learning） | 模型主动选择最有价值的样本请求人工标注，以最小标注成本获得最大性能提升 | Uncertainty Sampling, Query-by-Committee, Core-Set, BALD | 医学影像标注、工业质检、数据标注流水线 | 标注成本高昂；如何高效利用人类标注资源 |
为什么会出现这些学习范式？
这些新型机器学习方法的出现，主要源于现实需求与传统方法局限之间的矛盾。简单来说，原因可以归结为以下四点：
- 标注数据太贵、太少
- 人工标注耗时耗力（如医学图像、法律文本）。
- → 催生：自监督学习、主动学习、弱监督学习（少标或不标也能学）。
- 世界是开放的，类别无限多
- 模型不可能提前见过所有类别（如新商品、新物种）。
- → 催生：零样本学习、小样本学习（没见过也能猜，看几个就会）。
- 真实环境不断变化
- 模型上线后会遇到新任务、新数据，不能每次都重训。
- → 催生：持续学习、在线学习（边用边学，不忘旧知）。
- 大模型需要更聪明的学习方式
- 单纯靠"更多数据+更大模型"难以为继。
- → 催生：对比学习、因果学习、检索增强（学得更高效、更鲁棒、更可解释）。
一句话总结 ：这些新方法，都是为了在数据少、变化快、成本高、要求高的现实世界中，让机器学得更像人------用更少的经验，理解更多的事物。
这些学习范式之间的区别
虽然这些新型机器学习范式都旨在突破传统监督学习的局限 ，但它们解决的问题不同、假设前提不同、技术路径也不同 。下面从目标、数据假设、人机角色、典型场景四个维度，清晰对比它们之间的核心区别：
| 范式 | 核心目标 | 关于标签的假设 | 是否需要人参与？ | 典型问题场景 |
|---|---|---|---|---|
| 自监督学习 | 从无标签数据学通用表征 | 完全无标签 | 否（训练阶段） | 预训练大模型 |
| 对比学习 | 学判别性特征（常作为SSL手段） | 通常无标签（靠数据增强构造正负对） | 否 | 表征学习、多模态对齐 |
| 零样本学习 (ZSL) | 识别从未见过的类别 | 新类无任何样本，但有语义描述（如文本） | 是（需提供语义先验） | 开放世界分类（如新物种） |
| 小样本学习 (FSL) | 用极少样本快速适应新类 | 每个新类有1~5个标注样本 | 是（需少量标注） | 罕见病诊断、定制化任务 |
| 主动学习 (AL) | 最小化标注成本 | 大量未标注 + 少量可标注 | 是（模型主动"提问"） | 医学影像标注、工业质检 |
| 弱监督学习 | 在低质量标签下学习 | 标签不完整/不精确/含噪声 | 视情况（可能已有弱标签） | 图像级标签做分割 |
| 持续学习 | 序列任务中不遗忘 | 每个任务有标签，但不能存旧数据 | 否（或仅初始标注） | 机器人持续升级 |
| 因果学习 | 学机制而非相关性 | 通常有标签，但关注不变性 | 否 | 跨环境泛化（如不同医院数据） |
| 检索增强 (RAG) | 动态引入外部知识 | 无需训练新标签，依赖知识库 | 否（但需构建知识库） | 事实问答、避免幻觉 |
| 提示学习 (Prompting) | 激发大模型已有能力 | 无需微调标签，靠指令引导 | 否（用户写 prompt 即可） | 零样本推理、快速部署 |
| 具身学习 | 通过交互学常识与技能 | 通过环境反馈获得奖励/信号 | 否（但需仿真/真实环境） | 机器人、虚拟智能体 |
🔍 关键区别详解
-
对待"标签"的态度不同
- 不要标签：自监督、对比学习、具身学习（用环境反馈代替）。
- 要一点点标签：小样本学习（K个/类）、主动学习（选最有价值的标）。
- 要"软"标签：弱监督（粗粒度/噪声标签）。
- 不要新类标签，但要语义：零样本学习（依赖文本/属性等先验）。
✅ 主动学习 vs 小样本学习：
- AL 是过程：不断选样本 → 标注 → 再训练；
- FSL 是设定：给定 K 个样本，直接泛化。
- AL 可用于构建 FSL 的训练集！
-
是否依赖外部知识
- 依赖语义/知识库：零样本学习（词向量）、RAG（文档库）、提示学习（人类常识编码在LLM中）。
- 纯从数据中学：自监督、对比学习、持续学习。
-
时间维度 vs 静态设定
- 静态一次性学习：ZSL、FSL、SSL（训练完就固定）。
- 动态持续学习：持续学习、主动学习（多轮迭代）、具身学习（在线交互）。
-
与大模型的关系
- 大模型使能：零样本、提示学习、RAG（依赖LLM/Multimodal大模型）。
- 大模型无关：传统FSL、AL、因果学习（可在小模型上实现）。
🧩 举个例子说明区别
假设你要做一个罕见皮肤病诊断系统：
- 主动学习：模型先用公开数据预训练，然后从医院未标注图像中挑出"最不确定"的10张，请皮肤科医生标注，再更新模型------省标注。
- 小样本学习：每种罕见病只有3张已标注图，模型直接学会诊断------少样本泛化。
- 零样本学习：某种病完全没图像，但有文字描述（如"红色环状斑块"），模型结合CLIP实现识别------无样本推理。
- 自监督+对比学习：用百万张无标签皮肤图像预训练特征提取器------打基础。
- RAG：诊断时检索最新医学文献，避免给出过时建议------动态知识。
注意：它们不是互斥的，而是可组合使用！