第四章：Density Estimation and GMM --- 单元习题
总分：100分 | 建议用时：70分钟
范围：期望与方差、MLE（伯努利/高斯）、偏差、GMM、EM算法
占位图
一、单项选择题（每题2分，共20题，40分）
1. 期望的线性性 EaX+bY+c=aEX+bEY+c\mathbb{E}aX+bY+c=a\mathbb{E}X+b\mathbb{E}Y+cEaX+bY+c=aEX+bEY+c 成立的条件是？
A. X和Y必须独立
B. X和Y必须服从正态分布
C. 不需要任何关于独立性的假设
D. X和Y必须同分布
2. 方差的计算公式为？
A. varX=EX2+EX2\text{var}X = \mathbb{E}X\^2 + \mathbb{E}X^2varX=EX2+EX2
B. varX=EX2−EX2\text{var}X = \mathbb{E}X\^2 - \mathbb{E}X^2varX=EX2−EX2
C. varX=EX−EX2\text{var}X = \mathbb{E}X - \mathbb{E}X\^2varX=EX−EX2
D. varX=EX2−EX2\text{var}X = \mathbb{E}X^2 - \mathbb{E}X\^2varX=EX2−EX2
3. varaX+b\text{var}aX + bvaraX+b 等于？
A. a⋅varX+ba \cdot \text{var}X + ba⋅varX+b
B. a2⋅varXa^2 \cdot \text{var}Xa2⋅varX
C. a⋅varXa \cdot \text{var}Xa⋅varX
D. a2⋅varX+b2a^2 \cdot \text{var}X + b^2a2⋅varX+b2
4. MLE（最大似然估计）属于哪个学派的方法？
A. 贝叶斯学派
B. 频率学派
C. 深度学习学派
D. 强化学习学派
5. 使用对数似然而非原始似然的主要原因是？
A. 对数函数改变最优解位置
B. 连乘→求和→更易求导+数值更稳定
C. 对数似然总是大于原始似然
D. 对数函数使优化问题变为凸问题
6. MLE的两步法是指？
A. 先聚类再分类
B. 先回归再分类
C. 建模（写对数似然）+ 优化（求导→临界点→验证）
D. 先训练再测试
7. 伯努利分布 Bern(x∣μ)\text{Bern}(x|\mu)Bern(x∣μ) 的期望 EX\mathbb{E}XEX 等于？
A. μ(1−μ)\mu(1-\mu)μ(1−μ)
B. μ\muμ
C. μ\sqrt{\mu}μ
D. 1−μ1-\mu1−μ
8. 伯努利分布IID样本的MLE μML\mu_{ML}μML 等于？
A. n0N\frac{n_0}{N}Nn0（0的比例）
B. n1N\frac{n_1}{N}Nn1（1的比例）
C. n0+n12\frac{n_0 + n_1}{2}2n0+n1
D. n1n0\frac{n_1}{n_0}n0n1
9. 高斯分布IID样本的MLE均值 μML\mu_{ML}μML 等于？
A. 样本中位数
B. 样本最大值
C. 样本均值 1N∑xn\frac{1}{N}\sum x_nN1∑xn
D. 样本最小值
10. 高斯分布MLE的方差估计 σML2\sigma^2_{ML}σML2 是？
A. 无偏的
B. 有偏的（偏小），真正的无偏估计分母为N-1
C. 有偏的（偏大）
D. 与样本量无关
11. 偏差（Bias）的公式是？
A. Bias(θ^)=θ^−θ\text{Bias}(\hat{\theta}) = \hat{\theta} - \thetaBias(θ^)=θ^−θ
B. Bias(θ^)=Eθ\^−θ\text{Bias}(\hat{\theta}) = \mathbb{E}\\hat{\\theta} - \thetaBias(θ^)=Eθ\^−θ
C. Bias(θ^)=θ−Eθ\^\text{Bias}(\hat{\theta}) = \theta - \mathbb{E}\\hat{\\theta}Bias(θ^)=θ−Eθ\^
D. Bias(θ^)=Eθ\^2\text{Bias}(\hat{\theta}) = \mathbb{E}\\hat{\\theta}\^2Bias(θ^)=Eθ\^2
12. GMM（高斯混合模型）中，混合权重 πk\pi_kπk 必须满足什么条件？
A. 所有 πk\pi_kπk 相等
B. ∑k=1Kπk=1\sum_{k=1}^{K} \pi_k = 1∑k=1Kπk=1 且 πk≥0\pi_k \geq 0πk≥0
C. πk\pi_kπk 可以任意取值
D. ∑k=1Kπk=0\sum_{k=1}^{K} \pi_k = 0∑k=1Kπk=0
13. GMM与K-Means相比，GMM的主要优势是？
A. 计算更快
B. 输出软分配（归属概率）+ 可建模椭圆形簇
C. 不需要指定K
D. 保证全局最优
14. GMM中的隐变量（Latent Variable）zzz 代表什么？
A. 数据点的特征值
B. 数据点来自哪个高斯分量（簇）
C. 模型的超参数
D. 数据的标签
15. EM算法中E-Step的任务是？
A. 最大化期望对数似然
B. 用当前参数计算后验概率（软标签）
C. 更新模型参数
D. 初始化聚类中心
16. EM算法中M-Step的任务是？
A. 计算后验概率
B. 初始化模型参数
C. 最大化期望对数似然→更新参数
D. 评估模型准确率
17. GMM的EM算法中，γnk\gamma_{nk}γnk 的含义是？
A. 数据点n属于簇k的硬标签
B. 数据点n属于簇k的后验概率（软标签）
C. 簇k的混合权重
D. 簇k的协方差矩阵
18. EM算法解决的核心问题是什么？
A. 计算速度太慢
B. 参数和隐变量之间的循环依赖
C. 数据量太大
D. 模型太简单
19. 密度估计（Density Estimation）的目标是？
A. 从数据中推断概率分布 p(X)p(X)p(X)
B. 对数据进行分类
C. 将数据降维
D. 生成标签
20. 以下哪项是生成模型（Generative Model）的例子？
A. 线性回归
B. K-means
C. GMM（高斯混合模型）
D. 决策树
二、判断题（每题2分，共15题，30分。正确打√，错误打×）
21. 期望算子 E⋅\mathbb{E}\\cdotE⋅ 将随机变量映射为一个数值。（ ）
22. 两个随机变量的协方差为零意味着它们一定独立。（ ）
23. 似然函数 p(D∣w)p(\mathcal{D}|w)p(D∣w) 描述的是参数www的概率分布。（ ）
24. 取对数不改变最大似然估计的最优解位置，因为log是单调递增函数。（ ）
25. 伯努利分布的方差为 μ(1−μ)\mu(1-\mu)μ(1−μ)，在 μ=0.5\mu=0.5μ=0.5 时达到最大。（ ）
26. MLE的高斯均值估计 μML\mu_{ML}μML 是有偏的。（ ）
27. 无偏方差估计使用分母N-1而非N，是因为需要补偿均值估计引入的自由度损失。（ ）
28. GMM中每个高斯分量可以有不同形状、大小和方向的协方差矩阵。（ ）
29. GMM的后验概率 p(z=k∣x)p(z=k|\mathbf{x})p(z=k∣x) 可以通过贝叶斯定理计算。（ ）
30. EM算法保证收敛到全局最优解。（ ）
31. GMM的MLE直接优化很简单，因为对数似然中没有求和嵌套。（ ）
32. γnk\gamma_{nk}γnk 是软分配（Soft Assignment），取值范围在0到1之间。（ ）
33. 生成模型可以从联合分布 p(x,z)p(\mathbf{x}, z)p(x,z) 中采样生成新数据。（ ）
34. 在MLE框架下，充分统计量（Sufficient Statistics）完全描述了数据对参数估计所需的信息。（ ）
35. EM算法收敛的判定条件是参数完全不变。（ ）
三、简答题（每题4分，共5题，20分）
36. 请简述最大似然估计（MLE）的两步法（建模+优化），并说明为什么使用对数似然。
37. 请写出伯努利分布的MLE推导：从对数似然到 μML=n1/N\mu_{ML} = n_1/NμML=n1/N。什么是充分统计量？
38. 为什么高斯分布MLE的方差估计 σML2\sigma^2_{ML}σML2 是有偏的？无偏估计如何修正？
39. 请解释GMM中"循环依赖"问题的本质，以及EM算法如何通过交替迭代解决它。
40. 请对比GMM和K-Means至少三个维度的区别。
四、计算题（每题5分，共2题，10分）
41. 抛硬币10次，观测到7次正面（n1=7n_1=7n1=7）、3次反面（n0=3n_0=3n0=3）。假设每次抛掷服从IID伯努利分布：
(1) 写出对数似然函数 lnp(D∣μ)\ln p(\mathcal{D}|\mu)lnp(D∣μ)。
(2) 求 μML\mu_{ML}μML。
(3) 该估计量的期望 EμML\mathbb{E}\\mu_{ML}EμML 是多少？它是否无偏？
42. 从高斯分布 N(x∣μ,σ2)\mathcal{N}(x|\mu, \sigma^2)N(x∣μ,σ2) 中抽取3个IID样本：{2,4,6}\{2, 4, 6\}{2,4,6}。
(1) 计算MLE均值 μML\mu_{ML}μML。
(2) 计算MLE方差 σML2\sigma^2_{ML}σML2。
(3) 计算无偏方差估计 σ^unbiased2\hat{\sigma}^2_{unbiased}σ^unbiased2。
试卷结束，请认真检查。
第四章：Density Estimation and GMM --- 单元习题答案
一、单项选择题答案
| 题号 | 答案 | 解析 |
|---|---|---|
| 1 | C | 期望线性性不依赖独立性假设，始终成立 |
| 2 | B | varX=EX2−EX2\text{var}X=\mathbb{E}X\^2-\mathbb{E}X^2varX=EX2−EX2 |
| 3 | B | varaX+b=a2varX\text{var}aX+b=a^2\text{var}XvaraX+b=a2varX，常数b不改变方差 |
| 4 | B | MLE最大化数据似然→频率学派；MAP考虑先验→贝叶斯学派 |
| 5 | B | log将连乘变求和→易求导+数值稳定，且单调不变最优解 |
| 6 | C | MLE两步：建模(写对数似然)→优化(求导求临界点验证) |
| 7 | B | EX=0⋅(1−μ)+1⋅μ=μ\mathbb{E}X=0\cdot(1-\mu)+1\cdot\mu=\muEX=0⋅(1−μ)+1⋅μ=μ |
| 8 | B | μML=n1/(n0+n1)=n1/N\mu_{ML}=n_1/(n_0+n_1)=n_1/NμML=n1/(n0+n1)=n1/N，即样本中1的比例 |
| 9 | C | μML=1N∑xn\mu_{ML}=\frac{1}{N}\sum x_nμML=N1∑xn = 样本均值 |
| 10 | B | EσML2=N−1Nσ2<σ2\mathbb{E}\\sigma\^2_{ML}=\frac{N-1}{N}\sigma^2<\sigma^2EσML2=NN−1σ2<σ2，偏小；无偏估计分母N-1 |
| 11 | B | Bias=Eθ\^−θ\text{Bias}=\mathbb{E}\\hat{\\theta}-\thetaBias=Eθ\^−θ（期望与真实值的差） |
| 12 | B | 混合权重是概率分布→非负+和为1 |
| 13 | B | GMM=软分配(概率)+椭圆形簇+完整分布特征（均值/协方差/权重） |
| 14 | B | zzz是隐变量，表示数据点来自哪个高斯分量（簇身份） |
| 15 | B | E-Step计算后验γnk\gamma_{nk}γnk；M-Step最大化→更新参数 |
| 16 | C | M-Step用软标签最大化期望对数似然→更新πk,μk,Σk\pi_k,\mu_k,\Sigma_kπk,μk,Σk |
| 17 | B | $\gamma_{nk}=p(z_n=k |
| 18 | B | EM解决"知参数→可算z；知z→可估参数"的循环依赖 |
| 19 | A | 密度估计=从数据推断概率分布 |
| 20 | C | GMM是生成模型（可从联合分布采样）；K-means不是概率模型 |
二、判断题答案
| 题号 | 答案 | 解析 |
|---|---|---|
| 21 | √ | 期望=加权平均→数值 |
| 22 | × | 协方差=0≠独立（可能非线性相关）；独立→协方差=0 |
| 23 | × | 似然$p(\mathcal{D} |
| 24 | √ | log单调→arg max不变 |
| 25 | √ | μ(1−μ)\mu(1-\mu)μ(1−μ)在μ=0.5\mu=0.5μ=0.5时最大(=0.25) |
| 26 | × | EμML=μ\mathbb{E}\\mu_{ML}=\muEμML=μ→无偏；方差估计有偏 |
| 27 | √ | N-1补偿均值估计的自由度损失（Bessel校正） |
| 28 | √ | GMM每分量有独立Σk\Sigma_kΣk→可形成任意椭圆 |
| 29 | √ | 后验=$\frac{p(\mathbf{x} |
| 30 | × | EM保证收敛但不保证全局最优→可能局部最优 |
| 31 | × | GMM的MLE有log-sum耦合→难以直接优化→需EM |
| 32 | √ | γnk∈0,1\gamma_{nk}\in0,1γnk∈0,1且∑kγnk=1\sum_k\gamma_{nk}=1∑kγnk=1 = 软分配 |
| 33 | √ | 生成模型可从p(z)p(z)p(z)采样→从$p(\mathbf{x} |
| 34 | √ | 充分统计量（如伯努利的n0,n1n_0,n_1n0,n1）包含参数估计所需全部信息 |
| 35 | × | 收敛=对数似然增量<阈值或参数变化<阈值，非完全不变 |
三、简答题参考答案
36. MLE两步法
参考答案：
两步法：
| 步骤 | 内容 |
|---|---|
| 1. 建模（Modeling） | 根据数据分布假设（归纳偏置），写出对数似然函数 $\ln p(\mathcal{D} |
| 2. 优化（Optimization） | 求导→找临界点（导数为0）→验证二阶导数<0（极大值） |
使用对数似然的原因：
- 连乘→求和：ln∏p=∑lnp\ln\prod p = \sum\ln pln∏p=∑lnp，更易求导
- 数值稳定性：多个概率相乘→趋近0（下溢），取log后稳定
- 单调变换：log是单调递增函数→arg max不变
37. 伯努利分布MLE推导
参考答案：
对数似然 ：
lnp(D∣μ)=∑n=1Nxnlnμ+(1−xn)ln(1−μ)=n1lnμ+n0ln(1−μ)\ln p(\mathcal{D}|\mu) = \sum_{n=1}^{N}x_n\\ln\\mu + (1-x_n)\\ln(1-\\mu) = n_1\ln\mu + n_0\ln(1-\mu)lnp(D∣μ)=n=1∑Nxnlnμ+(1−xn)ln(1−μ)=n1lnμ+n0ln(1−μ)
求导置零 ：
∂∂μ=n1μ−n01−μ=0\frac{\partial}{\partial\mu} = \frac{n_1}{\mu} - \frac{n_0}{1-\mu} = 0∂μ∂=μn1−1−μn0=0
n1(1−μ)=n0μ ⟹ μML=n1n0+n1=n1Nn_1(1-\mu) = n_0\mu \implies \mu_{ML} = \frac{n_1}{n_0+n_1} = \frac{n_1}{N}n1(1−μ)=n0μ⟹μML=n0+n1n1=Nn1
充分统计量 ：n0,n1n_0, n_1n0,n1（0和1的计数）→它们完全描述了数据对μ\muμ估计所需的所有信息，不需要知道每个数据点的具体顺序。
38. 高斯MLE方差偏差
参考答案：
σML2=1N∑(xn−μML)2\sigma^2_{ML} = \frac{1}{N}\sum(x_n - \mu_{ML})^2σML2=N1∑(xn−μML)2 是有偏的，因为：
EσML2=N−1Nσ2<σ2\mathbb{E}\\sigma\^2_{ML} = \frac{N-1}{N}\sigma^2 < \sigma^2EσML2=NN−1σ2<σ2
偏小的原因 ：μML\mu_{ML}μML也是从同一批数据估计的→消耗了1个自由度→方差被低估。
无偏修正 ：
σ^unbiased2=1N−1∑n=1N(xn−xˉ)2\hat{\sigma}^2_{unbiased} = \frac{1}{N-1}\sum_{n=1}^{N}(x_n - \bar{x})^2σ^unbiased2=N−11n=1∑N(xn−xˉ)2
分母从N变为N-1→Bessel校正→Eσ\^unbiased2=σ2\mathbb{E}\\hat{\\sigma}\^2_{unbiased} = \sigma^2Eσ\^unbiased2=σ2。
39. GMM循环依赖与EM
参考答案：
循环依赖：
- 若知道参数 (πk,μk,Σk)(\pi_k,\mu_k,\Sigma_k)(πk,μk,Σk) → 可计算后验 p(z∣x)p(z|\mathbf{x})p(z∣x)（簇分配）
- 若知道簇分配 znz_nzn → 可用MLE直接估计参数
- 但两者都未知→循环依赖！
EM解决方案（交替迭代）：
- E-Step ：假设当前参数已知→计算软标签 γnk=p(zn=k∣xn)\gamma_{nk}=p(z_n=k|\mathbf{x}_n)γnk=p(zn=k∣xn)
- M-Step：假设软标签已知→最大化期望对数似然→更新参数
- 重复→每次迭代都增加（或不减）对数似然→保证收敛
40. GMM vs K-Means
参考答案：
| 维度 | K-Means | GMM |
|---|---|---|
| 分配方式 | 硬分配（每点一个簇） | 软分配（归属概率） |
| 簇形状 | 球形（欧氏距离） | 任意椭圆（协方差矩阵） |
| 输出信息 | 簇标签 | 标签+归属概率+分布参数 |
| 数学本质 | 几何距离最小化 | 概率密度最大化 |
| 优化算法 | Lloyd's Algorithm | EM算法 |
| 不确定性 | 无 | 有（概率量化不确定性） |
四、计算题参考答案
41. 伯努利MLE计算
(1) 对数似然函数
lnp(D∣μ)=n1lnμ+n0ln(1−μ)=7lnμ+3ln(1−μ)\ln p(\mathcal{D}|\mu) = n_1\ln\mu + n_0\ln(1-\mu) = 7\ln\mu + 3\ln(1-\mu)lnp(D∣μ)=n1lnμ+n0ln(1−μ)=7lnμ+3ln(1−μ)
(2) μML\mu_{ML}μML
μML=n1N=710=0.7\mu_{ML} = \frac{n_1}{N} = \frac{7}{10} = \mathbf{0.7}μML=Nn1=107=0.7
(3) 期望与无偏性
EμML=E110∑n=110Xn=110∑n=110EXn=110⋅10μ=μ\mathbb{E}\\mu_{ML} = \mathbb{E}\left\\frac{1}{10}\\sum_{n=1}\^{10}X_n\\right = \frac{1}{10}\sum_{n=1}^{10}\mathbb{E}X_n = \frac{1}{10}\cdot 10\mu = \muEμML=E101n=1∑10Xn=101n=1∑10EXn=101⋅10μ=μ
EμML=μ\mathbb{E}\\mu_{ML} = \muEμML=μ → 无偏（Unbiased）。
42. 高斯MLE计算
(1) μML\mu_{ML}μML
μML=13(2+4+6)=123=4.0\mu_{ML} = \frac{1}{3}(2 + 4 + 6) = \frac{12}{3} = \mathbf{4.0}μML=31(2+4+6)=312=4.0
(2) σML2\sigma^2_{ML}σML2
σML2=13(2−4)2+(4−4)2+(6−4)2=134+0+4=83≈2.667\sigma^2_{ML} = \frac{1}{3}(2-4)\^2 + (4-4)\^2 + (6-4)\^2 = \frac{1}{3}4 + 0 + 4 = \frac{8}{3} \approx \mathbf{2.667}σML2=31(2−4)2+(4−4)2+(6−4)2=314+0+4=38≈2.667
(3) 无偏方差估计
σ^unbiased2=1N−1∑(xn−μML)2=12×8=4.0\hat{\sigma}^2_{unbiased} = \frac{1}{N-1}\sum(x_n - \mu_{ML})^2 = \frac{1}{2} \times 8 = \mathbf{4.0}σ^unbiased2=N−11∑(xn−μML)2=21×8=4.0
注意：σ^unbiased2=NN−1σML2=32×2.667=4.0\hat{\sigma}^2_{unbiased} = \frac{N}{N-1}\sigma^2_{ML} = \frac{3}{2} \times 2.667 = 4.0σ^unbiased2=N−1NσML2=23×2.667=4.0，Bessel校正将方差从2.667修正到4.0。
答案编制完成时间：2026年6月28日