文章目录
-
- [01 本篇要解决什么问题](#01 本篇要解决什么问题)
- [02 核心原理、公式与条件](#02 核心原理、公式与条件)
- [03 代码实验、实际结果与验证范围](#03 代码实验、实际结果与验证范围)
- [04 工程场景与排错思路](#04 工程场景与排错思路)
- [05 面试问答与追问](#05 面试问答与追问)
- [06 本篇回顾与练习](#06 本篇回顾与练习)
01 本篇要解决什么问题
准备学大模型时,容易先记住一串模型名字,却说不清它们到底在学什么。分类、聚类、预测下一个token和根据奖励调整策略,看起来都在"训练",监督信号和评价方式却不同。本篇先把问题定义讲清,为后续预训练、微调和对齐建立共同语言。
02 核心原理、公式与条件
(1)先明确输入、输出和使用时刻
一个机器学习任务至少要回答:样本是什么,输入在预测时能否获得,输出代表什么,错误如何衡量。图像分类的一条样本可能是一张图;患者级风险任务则可能由多次检查组成,不能因为都用图片就采用相同的划分和评价。
设输入为 x x x、目标为 y y y、模型为 f θ f_\theta fθ。参数学习常写成经验风险最小化:
θ ^ = arg min θ 1 n ∑ i = 1 n ℓ ( f θ ( x i ) , y i ) + λ Ω ( θ ) . \hat\theta=\arg\min_\theta\frac{1}{n}\sum_{i=1}^{n}\ell(f_\theta(x_i),y_i)+\lambda\Omega(\theta). θ^=argθminn1i=1∑nℓ(fθ(xi),yi)+λΩ(θ).
这描述训练样本上的目标,并不自动保证新数据表现。模型家族、数据来源、损失、划分和最终决策共同定义实验,单独报一个"用了Transformer"还远远不够。
(2)监督学习:目标来自任务标注
监督学习使用输入与目标配对,目标可以是离散类别、连续数值或排序偏好。预测类别和预测概率也不同:概率可以支持不同代价下的阈值决策,最终输出类别还需要额外规则。
标签由人工、业务记录或其他流程产生,不表示天然正确。标注噪声、延迟标签与预测时不可用的信息都可能影响目标有效性。例如用任务完成后的统计去预测任务是否失败,就可能把答案相关信息提前放入输入。
(3)无监督学习:目标不依赖外部类别标签
聚类通常根据样本之间的结构组织分组,降维则寻找某种表示。KMeans最小化样本到所属中心的平方距离,不会自动理解"疾病""正常"或"高质量"这些业务类别。
聚类编号可以任意置换,因此簇0不等于真实类别0。若为了诊断而使用已有标签,可以采用对编号置换不敏感的ARI等外部指标;这些标签不应再悄悄参与声称无监督的拟合过程。即使聚类与某套标签一致,也不证明它发现了因果机制。
(4)自监督学习:从数据本身构造监督信号
自监督并非没有目标,而是目标通常由数据内部生成,例如遮挡后重建、对比不同视图、预测下一个token。自回归语言模型的典型目标为:
L C L M = − ∑ t log p θ ( x t ∣ x < t ) . \mathcal L_{\mathrm{CLM}}=-\sum_t\log p_\theta(x_t\mid x_{<t}). LCLM=−t∑logpθ(xt∣x<t).
训练时,已知序列可同时构造输入前缀和下一位置标签;因果约束决定当前位置不能偷看未来。大规模语言预训练是此思想的一种应用,本篇三token转移表只演示目标构造,不具备真实语言模型的泛化能力。
(5)强化学习:优化交互中的回报
强化学习通常围绕状态、动作、奖励和策略,优化一定范围的累计回报,例如:
J ( θ ) = E π θ ∑ t = 0 T γ t r t . J(\theta)=\mathbb E_{\pi_\theta}\left\\sum_{t=0}\^{T}\\gamma\^t r_t\\right. J(θ)=Eπθt=0∑Tγtrt.
奖励不同于为每个输入直接指定标准动作,探索会影响收集到的数据。复杂环境还涉及状态转移、延迟回报和信用分配,不能把任何有分数的训练都称为完整强化学习。
实验采用无状态双臂赌博机:动作选择不同奖励概率,使用探索和增量价值估计。它是受限的交互学习例子,没有实现多步MDP、PPO或大模型RLHF;估计价值也不能当成真实概率的精确值。
(6)四类范式可以出现在同一条模型流水线
一个系统可以先自监督预训练,再监督微调,之后做偏好优化或强化学习,最终接入检索与工具。RAG描述检索增强的系统组织,Agent描述决策与行动组织,不是和监督学习完全对齐的同一分类轴。
学习时最好同时画两张图:一张说明训练信号来自哪里,另一张说明推理时系统调用什么。这样就不会把"用了知识库"误说成模型重新训练,也不会把聚类结果当成有标签分类结果。
(7)划分与基线是所有范式的共同问题
训练前确定观察单位和独立评价数据;监督模型不要在训练样本上报告泛化,无监督目标也可能被调参反复过拟合。自监督的文档重复、对比学习同源视图和交互环境的随机种子,都影响独立性。
本篇只比较固定设置下的简化任务,监督与聚类共用合成坐标,但各自输出含义不同;它们的Accuracy与ARI不能拿来判断哪种范式"更强"。后续六篇会逐步把目标、评价和数据协议连接起来。

03 代码实验、实际结果与验证范围
在完整解压目录运行python examples/lesson_01.py。保留同目录ml_common.py,安装随包requirements.txt;本批在CPU运行,不需下载外部数据。使用正常模式,不用会关闭assert的python -O。
python
import numpy as np
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, adjusted_rand_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from ml_common import output_dir, table, figure, finish, plt
def main():
out = output_dir(1)
X, y = make_blobs(n_samples=360, centers=[(-2, -1), (2, 1)], cluster_std=1.0, random_state=101)
train, test = train_test_split(np.arange(len(y)), test_size=0.25, stratify=y, random_state=101)
assert set(train).isdisjoint(test)
supervised = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000, random_state=101))
supervised.fit(X[train], y[train])
predicted = supervised.predict(X[test])
unsupervised = make_pipeline(StandardScaler(), KMeans(n_clusters=2, n_init=10, random_state=101))
unsupervised.fit(X[train]) # no labels used to fit clusters
clusters = unsupervised.predict(X[test])
ari = adjusted_rand_score(y[test], clusters)
assert np.isclose(ari, adjusted_rand_score(y[test], 1 - clusters))
# Self-supervision: targets are shifted from the training sequence itself.
sequence = np.tile([0, 1, 2], 80)
counts = np.ones((3, 3), dtype=float)
for context, target in zip(sequence[:-1], sequence[1:]):
counts[context, target] += 1
transition = counts / counts.sum(axis=1, keepdims=True)
heldout = np.tile([0, 1, 2], 20)
next_accuracy = np.mean(transition.argmax(axis=1)[heldout[:-1]] == heldout[1:])
assert next_accuracy == 1.0 # deterministic toy rule, not general language competence
# Stateless two-arm bandit: a restricted RL example, not a full MDP/PPO.
rng = np.random.default_rng(102)
probabilities = np.array([0.2, 0.8])
q, visits, rewards = np.zeros(2), np.zeros(2, dtype=int), []
for _ in range(600):
action = int(rng.integers(2)) if rng.random() < 0.1 else int(q.argmax())
reward = float(rng.random() < probabilities[action])
visits[action] += 1
q[action] += (reward - q[action]) / visits[action]
rewards.append((action, reward))
selected = int(q.argmax())
evaluation_rng = np.random.default_rng(103)
evaluation_reward = np.mean(evaluation_rng.random(500) < probabilities[selected])
assert visits.sum() == 600 and np.all((q >= 0) & (q <= 1))
split = np.full(len(y), 'train', dtype=object)
split[test] = 'test'
table(out / 'classification_data.csv', ['id', 'x1', 'x2', 'label', 'split'],
[(i, *X[i], y[i], split[i]) for i in range(len(y))])
table(out / 'bandit_trace.csv', ['step', 'action', 'reward'], [(i, *r) for i, r in enumerate(rewards)])
table(out / 'self_supervised_sequence.csv', ['token_index', 'token', 'split'],
[(i, int(v), 'train') for i, v in enumerate(sequence)] + [(i, int(v), 'heldout') for i, v in enumerate(heldout)])
fig, axes = plt.subplots(1, 2, figsize=(10, 4), constrained_layout=True)
for ax, labels, title in [(axes[0], predicted, 'Supervised: predicted class'), (axes[1], clusters, 'Unsupervised: cluster ID')]:
ax.scatter(X[test, 0], X[test, 1], c=labels, cmap='coolwarm', s=24)
ax.set(xlabel='x1', ylabel='x2', title=title)
figure(fig, out)
finish(out, {'seed': 101, 'split': {'train': len(train), 'test': len(test)},
'supervised_test_accuracy': accuracy_score(y[test], predicted), 'cluster_test_ARI': ari,
'self_supervised_bigram_heldout_accuracy': next_accuracy,
'bandit': {'training_rounds': 600, 'visits': visits, 'estimated_values': q,
'selected_arm': selected, 'independent_500_round_mean_reward': evaluation_reward},
'scope': 'synthetic classification/clustering, deterministic 3-token bigram, stateless bandit; no LLM pretraining or PPO'})
if __name__ == '__main__':
main()
监督逻辑回归在独立合成样本上预测类别;KMeans仅使用训练特征拟合,测试时以ARI诊断簇结构,并验证交换簇编号不改变ARI。三token转移表从训练序列生成下一token目标;双臂赌博机先交互600轮,再固定所选动作,用独立随机流评价500轮。
本次真实运行结果
监督分类测试Accuracy=1.0000,聚类测试ARI=0.9556。三token确定循环的下一token准确率=1.0000。赌博机训练访问次数为64, 536,固定所选动作1后,独立500轮平均奖励=0.8040。这些指标回答不同问题,不构成范式排名。

图由随包原始数据与脚本生成,未平滑或补造数值;SVG与明细见实验结果目录。
结论的适用边界
| 实验 | 实际学习信号 | 结果的解释边界 |
|---|---|---|
| 逻辑回归分类 | 训练样本标签 | 仅限当前二维合成分布 |
| KMeans | 到中心的距离 | 簇编号不是类别语义 |
| 三token转移表 | 序列自身的移位标签 | 确定循环,不是语言理解 |
| 双臂赌博机 | 动作后的随机奖励 | 无状态,没有多步信用分配 |
04 工程场景与排错思路
准备科研助手时,可以先用有标签样本识别文献类型,用无监督表示组织文献相似关系,再调用预训练语言模型生成回答。每一环的输出与评价都不同,应分别检查,不把最终回答正确就归功于某个未验证模块。
面试介绍任务时,先说预测对象、输入可用时刻和成功标准,再说模型。若答不出标签如何获得、是否有同来源样本跨集合,即使架构名字很新,也难以证明实验结论可信。
05 面试问答与追问
问题1:监督与自监督的差别是有没有损失函数吗?
不是,两者都有训练目标。关键是目标信号如何产生;自监督通常从数据本身构造预测任务,不能把它解释成完全不需要标签张量。
问题2:聚类结果能直接当分类结果吗?
不能直接比较原始编号。簇ID可置换,且优化目标未必对应业务类别;需定义语义映射或使用适合的外部评价,并保持拟合不使用诊断标签。
问题3:预测下一个token为什么能并行训练?
训练序列已知,可同时构造多个位置的目标,并用因果掩码阻止偷看未来。生成时未来token尚未知,依赖关系又使逐步解码具有不同计算特点。
问题4:赌博机等于完整强化学习吗?
它是无状态或简化状态的受限问题,有探索与奖励,但没有本例之外的多步环境转移和延迟信用分配,不能用它验证PPO或RLHF。
问题5:RAG属于一种新的监督学习吗?
RAG主要描述检索与生成组合,是否训练及采用哪种训练范式取决于具体模块。系统架构与学习信号是不同分类维度。
问题6:训练目标下降就说明任务做对了吗?
还要看目标是否对准业务、数据是否独立、输入是否可用及评价是否合理。优化了错误目标或泄漏后的目标,也可能得到漂亮但无效的数字。
06 本篇回顾与练习
先定义问题,再识别监督信号,最后选择模型和评价。学习范式决定"依据什么更新",系统架构决定"推理时怎样组织",两者共同解释大模型应用。
三道递进练习
| 练习 | 思路与验收重点 |
|---|---|
| 把一个图像任务写成输入输出契约 | 明确样本粒度、标签来源和预测时可用字段。 |
| 构造簇ID置换 | 交换0与1,比较直接Accuracy和ARI的变化。 |
| 从小文本构造自监督样本 | 画出输入与目标错开一位,说明未来信息如何屏蔽。 |
延伸阅读
练习表提供方向与验收提示,并非额外完整题解。合成实验用于讲清机制,不能直接推广为真实患者、行业数据或大模型的性能结论。