机器学习之 定义与三大范式

过去十多年，从引爆深度学习浪潮的 ImageNet 图像竞赛、颠覆围棋认知的 AlphaGo，再到掀起生成式 AI 革命的 ChatGPT 大模型，每一次震撼行业的技术颠覆与跨越式突破，本质都是机器学习各类范式持续迭代、相互融合催生的成果。

为了更好的理解人工智能，以及根据个人的学习过程，我尝试着逐步拆解机器学习完整知识体系。

1、从定义开始

1.1 思想与实践

1952 年，IBM 研究员 亚瑟·塞缪尔（Arthur Samuel）​ 开发了一款跳棋程序（Checkers Program）。程序可通过复盘棋局自我优化棋力，这是机器学习思想第一次落地实现。

1956 年，在被称为 "人工智能起源之地"​ 的 达特茅斯会议（Dartmouth Conference）​ 上，塞缪尔现场演示了这个程序。

与会者第一次直观地感受到：机器，真的可以不靠人写规则，而是靠"经验"进步。

1.2 第一次正式提出

塞缪尔发表论文《Some Studies in Machine Learning Using the Game of Checkers》，首次创造并公开使用 "Machine Learning（机器学习）" 专有名词，同时给出沿用至今的经典定义：

"Machine learning is the field of study that gives computers the ability to learn without being explicitly programmed."

机器学习是让计算机在不被显式编程的情况下获得学习能力的研究领域。

1.3 从科学的角度

1996 年，帕特·兰利（Pat Langley）在著作《机器学习要素》（Elements of Machine Learning）​ 给出了一个在学术界极具影响力的经典定义：

"Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience."

机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。

兰利的定义强调了机器学习的两个核心属性：

（1）学科定位 ：机器学习是人工智能的一门科学分支，其根本目的是赋予机器智能。

（2）核心机制：算法不是静态的，能够通过数据或经验积累，不断自我优化和迭代。

1.4学科愿景和一个精确的形式化框架

1997 年，汤姆·米切尔（Tom Mitchell）在经典教材《机器学习》（Machine Learning）提出了至今被教科书广泛引用的定义，它包含了该领域的学科愿景和一个精确的形式化框架。

形式化定义（三要素框架）：

"A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E."

若一个计算机程序在任务类别 T 上的性能（以性能指标 P 衡量）会随着经验 E 的积累而提升，则称该程序能够基于经验 E、针对任务集 T，依据性能标准 P 进行学习。

学科定义（更通用的描述）：

"The field of machine learning is concerned with the question of how to construct computer programs that automatically improve with experience."

机器学习这一领域所研究的核心问题，是如何构建可凭借经验自动优化性能的计算机程序。

1.5 工程视角

2004年，埃瑟姆·阿尔帕丁（Ethem Alpaydin）在他的经典著作《机器学习导论》（Introduction to Machine Learning）中给出了一个高度凝练且极具工程导向的定义：

"Machine learning is programming computers to optimize a performance criterion using example data or past experience."

机器学习是使用示例数据或过去的经验对计算机进行编程以优化性能标准。

阿尔帕丁的定义更侧重于工程实践与优化目标：

（1）优化导向 ：指出机器学习的核心动作是"优化"。

（2）数据驱动 ：强调了"数据"是驱动这一优化过程的核心。

（3）性能标准：将抽象的"性能"具象化为一个可以被算法去追求和最大化的"标准"。

1.6 概率视角

2012年，凯文·墨菲（Kevin P. Murphy）在著作《机器学习：概率视角》（Machine Learning: A Probabilistic Perspective）中，从数据与预测的角度给出了机器学习的经典定义：

Machine learning is a set of methods that can automatically detect patterns in data, and then use the uncovered patterns to predict future data, or to perform automated decision-making under uncertainty.

机器学习是一组能够自动检测数据中的模式，然后利用这些模式来预测未来数据，或在不确定性下进行决策的方法。

这个定义完美契合了当时正在爆发的"深度学习革命"，也为现代人工智能指明了方向：从"规则驱动"彻底转向"数据驱动"，通过概率建模来应对现实世界中的不确定性。

2、怎么学习：三大范式

人类在学习这件事上有多种方式：

（1）有人教你

（2）你自己观察总结

（3）试错成长

机器学习像人类学习一样，有三种主要的范式：

（1）监督学习

（2）无监督学习

（3）强化学习

2.1 监督学习（Supervised Learning）

定义： 利用一组已知输入和对应输出的"标注数据"（labeled data）来训练一个模型，使得该模型能够学习从输入到输出的映射关系，并对新的未见输入数据预测其输出。

输入 x，标签 y
↓
模型
↓
预测 ŷ

目标： 预测值 ŷ 尽量接近真实标签 y

通俗理解： 拿着带标准答案的数据，让机器找出输入到输出的规律，再通过计算误差、迭代调参把规律打磨到最优，最终能准确处理全新未知数据。

核心内容 ：

监督学习的核心内容可概括为三个关键词："有监督 "、"映射 "、"泛化 "。

（1）有监督：训练阶段存在标注标签（标准答案）。模型持续对比自身预测结果与真实标签，以此修正自身。

（2）映射：核心目标是拟合最优函数 f，建立输入空间 x 到输出空间 y 的对应关系。

（3）泛化：模型不仅要在训练数据上表现好，更要对未曾见过的测试数据做出准确预测。

学习过程通常遵循 "假设-损失-优化 " 的循环：

（1）假设：选择一个模型结构（如线性模型、决策树、神经网络）来表达映射关系。

（2）损失：定义一个损失函数 L 来量化预测值与真实标签之间的差异。

（3）优化：使用优化算法（如梯度下降）不断迭代减小训练集整体平均损失，求解出模型最优参数。

2.2 无监督学习（Unsupervised Learning）

定义： 在仅有输入数据 X、没有对应输出标签 Y 的情况下，通过算法自主挖掘数据中存在的内在结构、关联或分布特征。

输入 x
↓
模型
↓
结构 / 分组 / 压缩表示

在无监督学习中，结构（structure）、分组（grouping）、压缩表示（compressed representation） 是描述数据内在规律的三个层次概念。

结构 ： 泛指数据中存在的任何非随机、可描述的数学或统计模式。

分组 ： 是将数据点划分成若干内部相似、彼此不同的类别或簇。

压缩表示： 是将原始高维数据映射到一个更低维度的空间，同时尽量保留原数据的重要信息。

核心内容：探索数据自身的内在结构。模型只能从数据的统计规律、相似性或分布中寻找启示，无法进行预测‑真值的比对。

学习循环：

初始化表征
     ↓
定义结构假设
     ↓
构造目标函数
     ↓
优化参数
     ↓
（回到）更新表征

2.3 强化学习（Reinforcement Learning）

定义： 一个智能体在与环境持续交互的过程中，通过观察环境（Environment）、执行动作（Action），并获得环境的反馈奖励（Reward），从而学会一个最优策略（Policy），使自己在长期交互中获得的累积奖励期望值最大化。

核心内容 ：做得好给奖励，做得不好给惩罚。

（1）Agent（智能体）：学习者

（2）Environment（环境）：外部世界

（3）Action（动作）：智能体能做的事

（4）Reward（奖励）：环境给出的反馈

目标：

目标：最大化 ∑ Reward