第二章：ML Mechanics - Terminology and Techniques --- 单元习题
总分：100分 | 建议用时：60分钟
范围：ML生命周期、数据划分、特征工程、模型族、归纳偏置、过拟合/正则化
封面占位图
一、单项选择题（每题2分，共20题，40分）
1. ML生命周期中，"L"阶段要回答的三个核心问题不包括？
A. 我想预测什么（Target）？
B. 如何评估成功（Objective）？
C. 使用什么GPU训练（Hardware）？
D. 有什么数据（Data）？
2. 理解数据时，以下哪项不是需要检查的内容？
A. 样本数量 N
B. 特征维度 D
C. 模型的推理速度
D. 标签是否有缺失或错误
3. 监督学习中，二分类（Binary Classification）和多分类（Multi-class）的区别是？
A. 二分类输出连续值，多分类输出离散值
B. 二分类有两个类别，多分类有两个以上类别
C. 二分类需要标签，多分类不需要标签
D. 没有区别
4. 泛化（Generalization）指的是？
A. 模型在训练数据上表现好
B. 模型在未见过的新数据上表现好
C. 模型参数数量多
D. 模型训练速度快
5. Train-Test Split的标准比例大约是？
A. 训练50% + 测试50%
B. 训练80% + 测试20%
C. 训练20% + 测试80%
D. 训练99% + 测试1%
6. 关于测试集的使用，正确的是？
A. 可以多次用于调参
B. 应该仅在最终评估时使用一次
C. 应该和训练集混合使用
D. 不需要测试集
7. Train-Val-Test划分中，验证集（Validation Set）的类比是？
A. 正式考试
B. 练习题+答案
C. 模拟考试
D. 课后作业
8. One-Hot Encoding主要用于处理什么类型的数据？
A. 连续数值特征
B. 类别特征（Categorical Features）
C. 图像像素
D. 时间序列
9. 特征标准化（Standardization）的公式是？
A. z=x+μz = x + \muz=x+μ
B. z=x−μσz = \frac{x - \mu}{\sigma}z=σx−μ
C. z=x⋅σz = x \cdot \sigmaz=x⋅σ
D. z=xμz = \frac{x}{\mu}z=μx
10. 测试时应用特征标准化，应使用什么参数？
A. 测试集自身的均值和方差
B. 训练集的均值和方差
C. 随机生成的均值和方差
D. 均值和方差都设为1
11. Bag-of-Words编码的主要缺点不包括？
A. 忽略词序
B. 无法捕捉语义相似性
C. 向量极度稀疏
D. 训练速度太慢
12. 机器学习中，No Free Lunch Theorem的含义是？
A. 深度学习在所有问题上都是最好的
B. 没有算法在所有问题上都最优，需要选择正确的归纳偏置
C. 所有模型的表现完全相同
D. 训练数据越多模型越好
13. 过拟合（Overfitting）的表现是？
A. 训练误差和验证误差都高
B. 训练误差低但验证误差高
C. 训练误差和验证误差都低
D. 训练误差高但验证误差低
14. 正则化（Regularization）的作用是？
A. 增加模型复杂度
B. 添加约束或惩罚以改善泛化
C. 提高训练速度
D. 增加训练数据量
15. 超参数（Hyperparameters）在优化过程中的特点是？
A. 通过梯度下降自动学习
B. 在优化过程中保持不变
C. 每次迭代都改变
D. 不需要手动设置
16. 超参数选择通常使用什么方法？
A. 随机猜测
B. 梯度下降
C. 网格搜索（Grid Search）
D. 反向传播
17. 参数化模型（Parametric Model）的特点是？
A. 参数量随训练数据增长
B. 参数量固定，不依赖数据量
C. 不需要任何参数
D. 只能用于分类
18. 以下哪个是非参数化模型？
A. 线性回归
B. 逻辑回归
C. K近邻（KNN）
D. 线性SVM
19. 使用model.predict_proba()相比model.predict()的优势是？
A. 预测速度更快
B. 输出包含预测的不确定性（概率分布）
C. 不需要训练数据
D. 适用于所有模型
20. 混淆矩阵中，将正常邮件错误标记为垃圾邮件属于？
A. True Positive (TP)
B. False Positive (FP)
C. False Negative (FN)
D. True Negative (TN)
二、判断题（每题2分，共15题，30分。正确打√，错误打×）
21. 在看数据之前就可以直接开始训练模型，不需要先了解数据。（ ）
22. 回归任务（Regression）输出离散类别标签。（ ）
23. 监督学习是所有学习范式中需要最少数据的"最快"学习方式。（ ）
24. Train-Test Split中应该先划分再打乱数据。（ ）
25. 如果反复使用测试集来调参，测试集就不再能客观衡量泛化能力。（ ）
26. 验证集用于在模型开发过程中评估泛化性能、调优模型设计。（ ）
27. One-Hot编码会给每个可能的类别值创建一个二进制列。（ ）
28. 特征标准化在训练集和测试集上应使用各自独立计算的均值和方差。（ ）
29. Bag-of-Words编码能够保留词语在句子中的顺序信息。（ ）
30. 线性模型不能引入任何归纳偏置。（ ）
31. 非线性模型总是比线性模型更好。（ ）
32. 更多正则化会使模型趋向更简单（从过拟合向Sweet Spot移动）。（ ）
33. 在训练vs验证准确率曲线中，验证准确率通常先上升后下降。（ ）
34. 网格搜索通过遍历超参数的所有组合来找到验证误差最小的配置。（ ）
35. 所有类型的分类错误都具有相同的代价。（ ）
三、简答题（每题4分，共6题，24分）
36. 请解释Train-Test Split的目的和基本步骤。为什么测试集只能使用一次？
37. 请说明Train、Validation、Test三个数据集各自的用途，并用"考试"做类比。
38. 什么是特征标准化（Standardization）？写出公式，并说明为什么测试时必须使用训练集的均值和方差。
39. 请解释欠拟合（Underfitting）和过拟合（Overfitting）的区别，以及如何通过正则化来达到"Sweet Spot"。
40. 什么是超参数（Hyperparameter）？它与普通模型参数有什么区别？网格搜索如何选择超参数？
41. 请说明参数化模型和非参数化模型的区别，并各举一个例子。
四、计算题（每题3分，共2题，6分）
42. 某特征在训练集上的均值为 μ=50\mu=50μ=50，标准差为 σ=10\sigma=10σ=10。请对该特征的两个值 x1=70x_1=70x1=70 和 x2=35x_2=35x2=35 进行标准化，分别计算 z1z_1z1 和 z2z_2z2。
公式：z=x−μσz = \frac{x - \mu}{\sigma}z=σx−μ
43. 某二分类模型在100封邮件上的预测结果如下：
- 实际垃圾邮件、预测垃圾邮件：30封
- 实际垃圾邮件、预测正常邮件：10封
- 实际正常邮件、预测垃圾邮件：5封
- 实际正常邮件、预测正常邮件：55封
(1) 画出混淆矩阵（标注TP/FP/FN/TN）。
(2) 计算该模型的准确率（Accuracy）。
准确率 = (TP + TN) / Total
试卷结束，请认真检查。
第二章：ML Mechanics - Terminology and Techniques --- 单元习题答案
一、单项选择题答案
| 题号 | 答案 | 解析 |
|---|---|---|
| 1 | C | L阶段三核心：Target(预测什么)、Objective(如何评估)、Data(有什么数据) |
| 2 | C | 理解数据检查：N(样本量)、D(特征维度)、特征分布/类型/缺失、标签分布/缺失。推理速度是部署阶段的事 |
| 3 | B | 二分类=2个类别；多分类=>2个类别。两者都输出离散标签 |
| 4 | B | 泛化=模型在未见过的新数据上表现良好 |
| 5 | B | 标准做法：~80%训练 + ~20%测试 |
| 6 | B | 测试集仅在最终评估时使用一次；反复使用会使其不再能衡量泛化 |
| 7 | C | Train=练习题，Val=模拟考试，Test=正式考试 |
| 8 | B | One-Hot Encoding专门处理类别特征（颜色、邮编等） |
| 9 | B | 标准化公式：z=(x−μ)/σz = (x - \mu)/\sigmaz=(x−μ)/σ，使特征变为均值0方差1 |
| 10 | B | 测试时必须使用训练集的μ和σ，确保变换一致 |
| 11 | D | BoW缺点：忽略词序、无语义、高维稀疏。但训练计算本身不慢 |
| 12 | B | NFL定理：没有通用最优算法→须选正确归纳偏置 |
| 13 | B | 过拟合=训练误差低但验证误差高（记住训练数据但无法泛化） |
| 14 | B | 正则化通过添加约束/惩罚改善泛化 |
| 15 | B | 超参数在优化过程中保持不变（如λ），需手动设置或网格搜索 |
| 16 | C | 超参数选择常用网格搜索（Grid Search）或随机搜索 |
| 17 | B | 参数化模型参数量固定（如线性回归：D+1个参数） |
| 18 | C | KNN的"参数"=全部训练数据，随数据量增长→非参数化 |
| 19 | B | predict_proba()输出概率分布，包含不确定性信息 |
| 20 | B | 正常邮件被标记为垃圾=FP（False Positive，误报） |
二、判断题答案
| 题号 | 答案 | 解析 |
|---|---|---|
| 21 | × | 必须先看数据（Look at the data!!），了解N/D/分布/缺失等 |
| 22 | × | 回归输出连续值；分类输出离散标签 |
| 23 | √ | 监督学习从示例中学习，通常需要最少数据 |
| 24 | × | 应先**打乱（Shuffle）**再划分，避免顺序偏差 |
| 25 | √ | 反复用测试集调参→测试集信息泄露→不再能客观衡量泛化 |
| 26 | √ | 验证集用于开发过程中的泛化评估和模型设计调优 |
| 27 | √ | One-Hot给每个类别创建独立二进制列 |
| 28 | × | 应该都用训练集的均值和方差，保证变换一致性 |
| 29 | × | BoW忽略词序，这是它的核心局限 |
| 30 | × | 任何模型选择都引入归纳偏置（如选线性=假设线性关系） |
| 31 | × | 非线性不一定更好→可能过拟合→需要根据验证集表现选择 |
| 32 | √ | 更多正则化→更简单模型→从过拟合向Sweet Spot移动 |
| 33 | √ | 验证准确率先升（学习有效模式）后降（开始过拟合） |
| 34 | √ | 网格搜索遍历超参数组合，选验证误差最小者 |
| 35 | × | 不同错误代价不同（如漏检癌症vs误报感冒→代价悬殊） |
三、简答题参考答案
36. Train-Test Split
参考答案：
目的 ：评估模型的泛化能力------在未见过的新数据上的表现。
基本步骤：
- **打乱（Shuffle）**原始数据
- 按比例（通常80/20）划分为训练集和测试集
- 训练集用于拟合模型
- 测试集用于最终评估
测试集只能用一次的原因：
- 若反复使用测试集调参→模型间接"看到"了测试数据→信息泄露
- 测试集不再代表"未见过的新数据"→无法客观衡量泛化
- 类比：如果考前看过真题→考试成绩不能反映真实水平
37. Train-Val-Test三数据集
参考答案：
| 数据集 | 考试类比 | 用途 |
|---|---|---|
| Train（训练集） | 练习题+答案 | 用来学习/拟合模型参数 |
| Validation（验证集） | 模拟考试 | 评估学习过程是否有效、调优模型设计和超参数 |
| Test（测试集） | 正式考试 | 最终一次评估模型的真实泛化能力 |
38. 特征标准化
参考答案：
公式 ：z=x−μσz = \frac{x - \mu}{\sigma}z=σx−μ，其中μ为均值，σ为标准差。
效果 ：转换后的特征具有均值0、方差1，消除不同特征间的量级差异。
为什么测试时必须用训练集的μ和σ：
- 测试时模型期望的输入分布应和训练时一致
- 如果测试集独立计算μ_test和σ_test→输入分布可能偏移→模型预测不准
- 训练集的μ和σ是模型"学到"的归一化参数→应保持一致地应用
39. 欠拟合与过拟合
参考答案：
| 状态 | 训练误差 | 验证误差 | 原因 |
|---|---|---|---|
| 欠拟合 | 高 | 高 | 模型太简单，无法捕捉数据模式 |
| 过拟合 | 低 | 高 | 模型太复杂，记住了训练数据的噪声 |
| Sweet Spot | 低 | 低 | 最佳复杂度，能泛化 |
正则化的调节作用：
- 正则化=给学习过程添加约束/惩罚→限制模型复杂度
- 更多正则化→模型变简单→从过拟合区向Sweet Spot移动
- 太少正则化→模型过拟合（右）
- 通过验证集性能找到最优正则化强度
40. 超参数
参考答案：
定义 ：超参数是在优化（训练）过程中保持不变的参数，不能从数据中自动学习。
与普通参数的区别：
| 普通参数（如w） | 超参数（如λ） | |
|---|---|---|
| 学习方式 | 梯度下降自动学习 | 手动设置或搜索 |
| 训练中是否变化 | 是 | 否（保持不变） |
| 例子 | 线性回归的权重 | 正则化强度λ、学习率 |
网格搜索（Grid Search）：
- 为每个超参数定义候选值列表
- 遍历所有组合→训练模型→在验证集上评估
- 选择验证误差最小的超参数组合
41. 参数化 vs 非参数化模型
参考答案：
| 类型 | 参数量 | 例子 | 特点 |
|---|---|---|---|
| 参数化（Parametric） | 固定（不依赖数据量N） | 线性回归（D+1个参数） | 训练快、需要假设函数形式 |
| 非参数化（Non-Parametric） | 随N增长 | K近邻（"参数"=全部训练数据） | 灵活、但预测慢、存储大 |
四、计算题参考答案
42. 特征标准化
z1=x1−μσ=70−5010=2010=2.0z_1 = \frac{x_1 - \mu}{\sigma} = \frac{70 - 50}{10} = \frac{20}{10} = \mathbf{2.0}z1=σx1−μ=1070−50=1020=2.0
z2=x2−μσ=35−5010=−1510=−1.5z_2 = \frac{x_2 - \mu}{\sigma} = \frac{35 - 50}{10} = \frac{-15}{10} = \mathbf{-1.5}z2=σx2−μ=1035−50=10−15=−1.5
x1=70x_1=70x1=70 标准化后为2.0（高于均值2个标准差），x2=35x_2=35x2=35标准化后为-1.5（低于均值1.5个标准差）。
43. 混淆矩阵与准确率
(1) 混淆矩阵
| 实际Spam | 实际Not Spam | |
|---|---|---|
| 预测Spam | TP = 30 | FP = 5 |
| 预测Not Spam | FN = 10 | TN = 55 |
(2) 准确率
Accuracy=TP+TNTotal=30+55100=85100=0.85=85%Accuracy = \frac{TP + TN}{Total} = \frac{30 + 55}{100} = \frac{85}{100} = \mathbf{0.85 = 85\%}Accuracy=TotalTP+TN=10030+55=10085=0.85=85%
模型正确分类了85%的邮件。但注意：10封垃圾邮件被漏检（FN），5封正常邮件被误报（FP）。
答案编制完成时间：2026年6月27日