第七章：Linear Regression (3) --- Probabilistic View --- 单元习题
总分：100分 | 建议用时：60分钟
范围：最小二乘与MLE等价性、噪声模型与误差函数的对应关系
占位图
一、单项选择题（每题2分，共20题，40分）
1. 线性回归的加性噪声模型中，t=y(x,w)+ϵt = y(\mathbf{x},\mathbf{w}) + \epsilont=y(x,w)+ϵ，ϵ\epsilonϵ通常假设服从什么分布对应MSE？
A. 均匀分布
B. 零均值高斯分布 N(0,σ2)\mathcal{N}(0,\sigma^2)N(0,σ2)
C. 拉普拉斯分布
D. 伯努利分布
2. 在高斯噪声假设下，最大化似然等价于？
A. 最大化平方和误差
B. 最小化平方和误差
C. 最小化绝对误差
D. 最大化绝对误差
3. 对数似然 lnp(t∣X,w,σ2)\ln p(\mathbf{t}|\mathbb{X},\mathbf{w},\sigma^2)lnp(t∣X,w,σ2) 中，与w\mathbf{w}w无关的项是？
A. ∑(tn−wTϕ(xn))2\sum(t_n - \mathbf{w}^T\phi(\mathbf{x}_n))^2∑(tn−wTϕ(xn))2
B. −N2ln(2πσ2)-\frac{N}{2}\ln(2\pi\sigma^2)−2Nln(2πσ2)
C. wTΦTΦw\mathbf{w}^T\Phi^T\Phi\mathbf{w}wTΦTΦw
D. wTΦTt\mathbf{w}^T\Phi^T\mathbf{t}wTΦTt
4. 高斯噪声假设下，lnp∝−1σ2ED(w)\ln p \propto -\frac{1}{\sigma^2}\mathbf{E}_D(\mathbf{w})lnp∝−σ21ED(w)，这意味着？
A. σ2\sigma^2σ2越大，误差权重越大
B. σ2\sigma^2σ2越小，误差权重越大
C. σ2\sigma^2σ2不影响误差权重
D. 误差权重与w\mathbf{w}w有关
5. 如果假设噪声服从拉普拉斯分布，对应的最优误差函数是？
A. 平方和误差（MSE）
B. 绝对误差（MAE）
C. Huber损失
D. 交叉熵
6. 拉普拉斯噪声假设下，MAE比MSE对异常值更鲁棒，原因是？
A. MAE用平方惩罚
B. MAE用线性惩罚（绝对值），大误差不会被平方放大
C. MAE忽略所有大误差
D. MAE使用对数变换
7. 在MLE框架下推导正规方程时，梯度∇wlnp\nabla_{\mathbf{w}}\ln p∇wlnp与∇wED\nabla_{\mathbf{w}}\mathbf{E}_D∇wED的关系是？
A. ∇wlnp=∇wED\nabla_{\mathbf{w}}\ln p = \nabla_{\mathbf{w}}\mathbf{E}_D∇wlnp=∇wED
B. ∇wlnp=−1σ2∇wED\nabla_{\mathbf{w}}\ln p = -\frac{1}{\sigma^2}\nabla_{\mathbf{w}}\mathbf{E}_D∇wlnp=−σ21∇wED
C. ∇wlnp=σ2∇wED\nabla_{\mathbf{w}}\ln p = \sigma^2\nabla_{\mathbf{w}}\mathbf{E}_D∇wlnp=σ2∇wED
D. 两者无关
8. MLE推导出的wML\mathbf{w}_{ML}wML等于？
A. (ΦTΦ)−1ΦTt(\Phi^T\Phi)^{-1}\Phi^T\mathbf{t}(ΦTΦ)−1ΦTt（与最小二乘解一致）
B. ΦTt\Phi^T\mathbf{t}ΦTt
C. (ΦTΦ+λI)−1ΦTt(\Phi^T\Phi + \lambda I)^{-1}\Phi^T\mathbf{t}(ΦTΦ+λI)−1ΦTt
D. Φ−1t\Phi^{-1}\mathbf{t}Φ−1t
9. IID假设在似然函数中的体现是？
A. p(t)=∑p(tn)p(\mathbf{t}) = \sum p(t_n)p(t)=∑p(tn)
B. p(t)=∏p(tn)p(\mathbf{t}) = \prod p(t_n)p(t)=∏p(tn)
C. p(t)=maxp(tn)p(\mathbf{t}) = \max p(t_n)p(t)=maxp(tn)
D. p(t)=1N∑p(tn)p(\mathbf{t}) = \frac{1}{N}\sum p(t_n)p(t)=N1∑p(tn)
10. 关于噪声模型与误差函数的关系，以下正确的是？
A. 任何误差函数都对应同一噪声模型
B. 选择的误差函数隐含了对数据噪声分布的假设
C. 误差函数与噪声模型无关
D. 只能使用高斯噪声模型
11. 似然函数p(t∣X,w,σ2)p(\mathbf{t}|\mathbb{X},\mathbf{w},\sigma^2)p(t∣X,w,σ2)描述的是？
A. 参数w\mathbf{w}w的概率分布
B. 在给定参数下观测到数据t\mathbf{t}t的概率
C. t\mathbf{t}t和w\mathbf{w}w的联合分布
D. w\mathbf{w}w的先验分布
12. 高斯分布的对数似然中包含−12σ2(tn−yn)2-\frac{1}{2\sigma^2}(t_n-y_n)^2−2σ21(tn−yn)2项，这表明？
A. 噪声方差σ2\sigma^2σ2越大，单个数据点对似然的贡献越大
B. 噪声方差σ2\sigma^2σ2越小，预测误差被"惩罚"越重
C. σ2\sigma^2σ2不影响似然
D. 似然与预测误差无关
13. 将MLE梯度置零得到的方程ΦTt=ΦTΦw\Phi^T\mathbf{t} = \Phi^T\Phi\mathbf{w}ΦTt=ΦTΦw称为？
A. Ridge方程
B. 正规方程（Normal Equations）
C. 梯度下降方程
D. 牛顿方程
14. 如果数据噪声服从拉普拉斯分布而非高斯分布，MLE会得到什么解？
A. 最小二乘解
B. 最小绝对偏差解（LAD，Least Absolute Deviation）
C. Ridge解
D. Lasso解
15. 高斯分布p(ϵ)=12πσe−ϵ2/2σ2p(\epsilon) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\epsilon^2/2\sigma^2}p(ϵ)=2π σ1e−ϵ2/2σ2的负对数包含ϵ2\epsilon^2ϵ2项，这导致？
A. 小误差和大误差同等对待
B. 大误差被平方放大→对大误差非常敏感
C. 忽略所有误差
D. 对误差完全不敏感
16. 在概率视角下，线性回归的"训练"本质上是在做什么？
A. 最小化训练时间
B. 最大化观测数据的似然（MLE）
C. 最大化参数数量
D. 最小化数据维度
17. 关于Φ(X)\Phi(\mathbb{X})Φ(X)（基函数变换后的设计矩阵），正确的是？
A. Φ(X)\Phi(\mathbb{X})Φ(X)与原始X\mathbb{X}X完全相同
B. Φ(X)\Phi(\mathbb{X})Φ(X)的第n行为ϕ(xn)T\phi(\mathbf{x}_n)^Tϕ(xn)T
C. Φ(X)\Phi(\mathbb{X})Φ(X)不需要包含截距项
D. Φ(X)\Phi(\mathbb{X})Φ(X)是方阵
18. MLE推导中，常数项−N2ln(2πσ2)-\frac{N}{2}\ln(2\pi\sigma^2)−2Nln(2πσ2)在优化时被忽略，因为？
A. 它等于0
B. 它与w\mathbf{w}w无关→不影响argmaxw\arg\max_{\mathbf{w}}argmaxw
C. 它与σ2\sigma^2σ2有关
D. 它总是负数
19. 使用MSE训练线性回归，等于隐含假设了什么？
A. 数据是线性可分的
B. 目标值的噪声服从零均值高斯分布
C. 特征之间独立
D. 参数服从高斯先验
20. 如果真实噪声是拉普拉斯分布但你用了MSE，会发生什么？
A. 没有影响
B. 模型会对异常值过度敏感（因为MSE平方放大异常值）
C. 模型会更鲁棒
D. 模型无法训练
二、判断题（每题2分，共15题，30分。正确打√，错误打×）
21. 最小二乘误差函数在高斯噪声假设下有概率论基础------它等价于MLE。（ ）
22. 如果噪声不是高斯的，最小二乘就不再是MLE。（ ）
23. 对数似然中与w\mathbf{w}w有关的项就是−1σ2ED(w)-\frac{1}{\sigma^2}\mathbf{E}_D(\mathbf{w})−σ21ED(w)。（ ）
24. MLE推导出的正规方程与最小二乘的正规方程形式完全相同。（ ）
25. 拉普拉斯噪声假设下，MLE等价于最小化MAE。（ ）
26. 高斯噪声的负对数似然对大误差的惩罚比拉普拉斯噪声更重。（ ）
27. IID假设意味着所有数据点的噪声相互独立且同分布。（ ）
28. σ2\sigma^2σ2（噪声方差）越大，1σ2ED(w)\frac{1}{\sigma^2}\mathbf{E}_D(\mathbf{w})σ21ED(w)的权重越大。（ ）
29. 最大似然估计（MLE）得到的wML\mathbf{w}_{ML}wML就是最小二乘解。（ ）
30. 似然函数p(t∣X,w)p(\mathbf{t}|\mathbb{X},\mathbf{w})p(t∣X,w)不是w\mathbf{w}w的概率分布。（ ）
31. 拉普拉斯分布p(ϵ)∝e−∣ϵ∣/bp(\epsilon)\propto e^{-|\epsilon|/b}p(ϵ)∝e−∣ϵ∣/b的尾部比高斯分布更重（更容忍大误差）。（ ）
32. 在MLE下，噪声模型的选择决定了我们使用什么误差函数。（ ）
33. Φ(X)\Phi(\mathbb{X})Φ(X)矩阵的每一行是一个数据点的基函数特征向量。（ ）
34. MAE对应的高斯噪声假设使模型对异常值敏感。（ ）
35. 概率视角唯一的用途是推导正规方程，没有其他实际意义。（ ）
三、简答题（每题5分，共4题，20分）
36. 请从加性高斯噪声假设出发，推导对数似然函数，并证明最大化对数似然等价于最小化平方和误差。
37. 请解释"噪声模型 ↔ 误差函数"的对应关系：高斯噪声对应MSE，拉普拉斯噪声对应MAE。为什么这种对应很重要？
38. 在MLE框架下，噪声方差σ2\sigma^2σ2的角色是什么？为什么最大化似然时σ2\sigma^2σ2不影响w\mathbf{w}w的最优解？
39. 从概率视角看，使用不同误差函数（MSE vs MAE）意味着对数据做了什么不同的假设？在实际应用中应如何选择？
四、计算题（每题5分，共2题，10分）
40. 给定噪声方差σ2=4\sigma^2=4σ2=4，单个数据点的预测y=3y=3y=3，真实值t=7t=7t=7。假设高斯噪声模型：
(1) 计算该数据点对负对数似然−lnp(t∣y,σ2)-\ln p(t|y,\sigma^2)−lnp(t∣y,σ2)的贡献（忽略常数项12ln(2πσ2)\frac{1}{2}\ln(2\pi\sigma^2)21ln(2πσ2)）。
(2) 若改用拉普拉斯噪声模型p(ϵ)=12be−∣ϵ∣/bp(\epsilon)=\frac{1}{2b}e^{-|\epsilon|/b}p(ϵ)=2b1e−∣ϵ∣/b，b=2b=2b=2，计算该数据点对负对数似然的贡献（忽略常数项ln(2b)\ln(2b)ln(2b)）。
参考：高斯−lnp-\ln p−lnp含(t−y)22σ2\frac{(t-y)^2}{2\sigma^2}2σ2(t−y)2；拉普拉斯−lnp-\ln p−lnp含∣t−y∣b\frac{|t-y|}{b}b∣t−y∣
41. 使用与第五章相同数据(1,2),(2,3),(3,5)(1,2),(2,3),(3,5)(1,2),(2,3),(3,5)，基函数ϕ(x)=1,xT\phi(x)=1, x^Tϕ(x)=1,xT：
(1) 写出Φ\PhiΦ矩阵。
(2) 验证MLE正规方程ΦTΦw=ΦTt\Phi^T\Phi\mathbf{w}=\Phi^T\mathbf{t}ΦTΦw=ΦTt与第五章结果一致。
试卷结束，请认真检查。
第七章：Linear Regression (3) --- Probabilistic View --- 单元习题答案
一、单项选择题答案
| 题号 | 答案 | 解析 |
|---|---|---|
| 1 | B | 高斯噪声假设→MSE；拉普拉斯→MAE |
| 2 | B | maxlnp ⟺ minED(w)\max\ln p \iff \min\mathbf{E}_D(\mathbf{w})maxlnp⟺minED(w)（前两项为常数） |
| 3 | B | −N2ln(2πσ2)-\frac{N}{2}\ln(2\pi\sigma^2)−2Nln(2πσ2)与w\mathbf{w}w无关→优化时可忽略 |
| 4 | B | lnp∝−1σ2\ln p \propto -\frac{1}{\sigma^2}lnp∝−σ21→σ2\sigma^2σ2小→误差权重1σ2\frac{1}{\sigma^2}σ21大 |
| 5 | B | Laplacian −logp-\log p−logp含∣ϵ∣/b|\epsilon|/b∣ϵ∣/b→MAE |
| 6 | B | MAE线性惩罚→异常值不被平方放大→更鲁棒 |
| 7 | B | ∇wlnp=−1σ2∇wED\nabla_{\mathbf{w}}\ln p = -\frac{1}{\sigma^2}\nabla_{\mathbf{w}}\mathbf{E}_D∇wlnp=−σ21∇wED |
| 8 | A | MLE解=最小二乘解=(ΦTΦ)−1ΦTt(\Phi^T\Phi)^{-1}\Phi^T\mathbf{t}(ΦTΦ)−1ΦTt |
| 9 | B | IID→联合概率=各独立概率乘积 |
| 10 | B | 误差函数=对噪声分布的隐含假设 |
| 11 | B | 似然p(data∣params)p(\text{data}|\text{params})p(data∣params)=给定参数下数据的概率 |
| 12 | B | σ2\sigma^2σ2小→12σ2\frac{1}{2\sigma^2}2σ21大→预测误差被更重惩罚 |
| 13 | B | ΦTΦw=ΦTt\Phi^T\Phi\mathbf{w}=\Phi^T\mathbf{t}ΦTΦw=ΦTt=正规方程 |
| 14 | B | Laplace MLE=LAD(最小绝对偏差)，非最小二乘 |
| 15 | B | ϵ2\epsilon^2ϵ2→大误差被平方放大→对异常值敏感 |
| 16 | B | 概率视角：训练=最大化观测数据似然 |
| 17 | B | Φ\PhiΦ行=ϕ(xn)T\phi(\mathbf{x}_n)^Tϕ(xn)T（基函数特征向量） |
| 18 | B | 常数项不含w\mathbf{w}w→不影响argmax |
| 19 | B | MSE=隐含假设高斯噪声 |
| 20 | B | 模型不匹配→MSE对Laplace异常值过度敏感 |
二、判断题答案
| 题号 | 答案 | 解析 |
|---|---|---|
| 21 | √ | 高斯噪声下MLE⇔最小二乘 |
| 22 | √ | 非高斯→MLE≠最小二乘 |
| 23 | √ | lnp=const−1σ2ED(w)\ln p = \text{const} - \frac{1}{\sigma^2}\mathbf{E}_D(\mathbf{w})lnp=const−σ21ED(w) |
| 24 | √ | ΦTΦw=ΦTt\Phi^T\Phi\mathbf{w}=\Phi^T\mathbf{t}ΦTΦw=ΦTt完全相同 |
| 25 | √ | Laplace→−logp∝∣ϵ∣-\log p\propto|\epsilon|−logp∝∣ϵ∣→MAE |
| 26 | √ | 高斯ϵ2\epsilon^2ϵ2 vs Laplace ∣ϵ∣|\epsilon|∣ϵ∣→大误差时ϵ2≫∣ϵ∣\epsilon^2\gg|\epsilon|ϵ2≫∣ϵ∣ |
| 27 | √ | IID=Independent Identically Distributed |
| 28 | × | σ2\sigma^2σ2越大 →1σ2\frac{1}{\sigma^2}σ21越小→权重越小 |
| 29 | √ | MLE解=最小二乘解（高斯噪声下） |
| 30 | √ | 似然是数据的分布，不是参数的分布（w\mathbf{w}w是固定未知参数） |
| 31 | √ | Laplace指数衰减vs高斯平方指数→Laplace尾部更重 |
| 32 | √ | 噪声模型→−logp-\log p−logp→误差函数 |
| 33 | √ | 每行=ϕ(xn)T\phi(\mathbf{x}_n)^Tϕ(xn)T，每列=一个基函数在所有数据点的值 |
| 34 | × | MAE对应拉普拉斯噪声→对异常值鲁棒；MSE对应高斯→敏感 |
| 35 | × | 概率视角还提供：不确定性量化、噪声方差估计、模型选择标准等 |
三、简答题参考答案
36. 高斯噪声下的MLE推导
参考答案：
- 噪声假设 ：tn=wTϕ(xn)+ϵnt_n = \mathbf{w}^T\phi(\mathbf{x}_n) + \epsilon_ntn=wTϕ(xn)+ϵn，ϵn∼N(0,σ2)\epsilon_n \sim \mathcal{N}(0,\sigma^2)ϵn∼N(0,σ2) IID
- 似然 ：p(t∣X,w,σ2)=∏nN(tn∣wTϕ(xn),σ2)p(\mathbf{t}|\mathbb{X},\mathbf{w},\sigma^2) = \prod_n \mathcal{N}(t_n|\mathbf{w}^T\phi(\mathbf{x}_n),\sigma^2)p(t∣X,w,σ2)=∏nN(tn∣wTϕ(xn),σ2)
- 对数似然 ：
lnp=−N2ln(2πσ2)−12σ2∑n(tn−wTϕ(xn))2\ln p = -\frac{N}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_n(t_n-\mathbf{w}^T\phi(\mathbf{x}_n))^2lnp=−2Nln(2πσ2)−2σ21n∑(tn−wTϕ(xn))2
=const−1σ2ED(w)= \text{const} - \frac{1}{\sigma^2}\mathbf{E}_D(\mathbf{w})=const−σ21ED(w) - 最大化⇔最小化 ：前两项与w\mathbf{w}w无关→maxwlnp ⟺ minwED(w)\max_{\mathbf{w}}\ln p \iff \min_{\mathbf{w}}\mathbf{E}_D(\mathbf{w})maxwlnp⟺minwED(w)
37. 噪声模型 ↔ 误差函数
参考答案：
| 噪声分布 | −logp(ϵ)-\log p(\epsilon)−logp(ϵ) | 误差函数 |
|---|---|---|
| 高斯 N(0,σ2)\mathcal{N}(0,\sigma^2)N(0,σ2) | ϵ22σ2\frac{\epsilon^2}{2\sigma^2}2σ2ϵ2+const | MSE（平方和） |
| 拉普拉斯 Laplace(0,b)(0,b)(0,b) | ∣ϵ∣b\frac{|\epsilon|}{b}b∣ϵ∣+const | MAE（绝对误差） |
这种对应很重要：选择的误差函数=对数据噪声分布的隐含建模假设。如果真实噪声是拉普拉斯（重尾），用MSE会导致对异常值过度敏感。
38. σ2\sigma^2σ2的角色
参考答案：
- σ2\sigma^2σ2=噪声方差，衡量数据中固有的随机波动
- lnp\ln plnp中w\mathbf{w}w相关项为−1σ2ED(w)-\frac{1}{\sigma^2}\mathbf{E}_D(\mathbf{w})−σ21ED(w)
- argmaxwlnp\arg\max_{\mathbf{w}}\ln pargmaxwlnp等价于argminwED(w)\arg\min_{\mathbf{w}}\mathbf{E}_D(\mathbf{w})argminwED(w)------σ2\sigma^2σ2只是一个常数缩放因子
- →**σ2\sigma^2σ2不影响wML\mathbf{w}_{ML}wML的解**
- 但σ2\sigma^2σ2可通过∂∂σ2lnp=0\frac{\partial}{\partial\sigma^2}\ln p=0∂σ2∂lnp=0单独估计：σML2=2NED(wML)\sigma^2_{ML}=\frac{2}{N}\mathbf{E}D(\mathbf{w}{ML})σML2=N2ED(wML)
39. 实际选择指南
参考答案：
| 假设 | 误差函数 | 何时使用 |
|---|---|---|
| 高斯噪声 | MSE | 数据干净，无显著异常值；噪声近似正态分布 |
| 拉普拉斯噪声 | MAE | 数据含异常值；噪声有重尾分布 |
实际建议：不确定时先看残差分布→如果残差近似正态→MSE；如果残差有明显长尾→考虑MAE或Huber Loss。
四、计算题参考答案
40. 负对数似然贡献
(1) 高斯噪声 （σ2=4\sigma^2=4σ2=4）
−lnp贡献=(t−y)22σ2=(7−3)22×4=168=2.0-\ln p\text{贡献} = \frac{(t-y)^2}{2\sigma^2} = \frac{(7-3)^2}{2\times4} = \frac{16}{8} = \mathbf{2.0}−lnp贡献=2σ2(t−y)2=2×4(7−3)2=816=2.0
(2) 拉普拉斯噪声 （b=2b=2b=2）
−lnp贡献=∣t−y∣b=∣7−3∣2=42=2.0-\ln p\text{贡献} = \frac{|t-y|}{b} = \frac{|7-3|}{2} = \frac{4}{2} = \mathbf{2.0}−lnp贡献=b∣t−y∣=2∣7−3∣=24=2.0
巧合相等。但若t−yt-yt−y更大→高斯(Δ)28\frac{(\Delta)^2}{8}8(Δ)2增长为平方，拉普拉斯∣Δ∣2\frac{|\Delta|}{2}2∣Δ∣为线性→高斯惩罚更重！
41. MLE正规方程验证
(1) Φ\PhiΦ矩阵
Φ=111213\Phi = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}Φ= 111123
(2) 验证
ΦTΦ=36614,ΦTt=1023\Phi^T\Phi = \begin{bmatrix}3&6\\6&14\end{bmatrix}, \quad \Phi^T\mathbf{t} = \begin{bmatrix}10\\23\end{bmatrix}ΦTΦ=36614,ΦTt=1023
ΦTΦw=ΦTt ⟺ 36614w0w1=1023\Phi^T\Phi\mathbf{w} = \Phi^T\mathbf{t} \iff \begin{bmatrix}3&6\\6&14\end{bmatrix}\begin{bmatrix}w_0\\w_1\end{bmatrix} = \begin{bmatrix}10\\23\end{bmatrix}ΦTΦw=ΦTt⟺36614w0w1=1023
与第五章正规方程XTXw=XTt\mathbb{X}^T\mathbb{X}\mathbf{w}=\mathbb{X}^T\mathbf{t}XTXw=XTt完全一致。w∗=1/3,3/2T\mathbf{w}^*=1/3, 3/2^Tw∗=1/3,3/2T。
答案编制完成时间：2026年6月28日