概率论与数理统计 第七章 参数估计

一、点估计

1. 矩估计法

基本思想：用样本矩代替总体矩，建立方程求解参数估计值。

步骤：

1. 计算总体矩（包含未知参数）
2. 计算样本矩
3. 令总体矩等于样本矩，建立方程
4. 解方程得到参数的矩估计量

例题 ：设总体 XXX 服从参数为 λ\lambdaλ 的指数分布，概率密度函数为：

f(x;λ)=λe−λx,x>0f(x;\lambda) = \lambda e^{-\lambda x}, \quad x > 0f(x;λ)=λe−λx,x>0

求 λ\lambdaλ 的矩估计量。

解 ：

总体一阶矩：E(X)=1λE(X) = \frac{1}{\lambda}E(X)=λ1

样本一阶矩：Xˉ=1n∑i=1nXi\bar{X} = \frac{1}{n}\sum_{i=1}^n X_iXˉ=n1∑i=1nXi

令 E(X)=XˉE(X) = \bar{X}E(X)=Xˉ，即 1λ=Xˉ\frac{1}{\lambda} = \bar{X}λ1=Xˉ

解得矩估计量：λ^=1Xˉ\hat{\lambda} = \frac{1}{\bar{X}}λ^=Xˉ1

2. 最大似然估计法

基本思想：选择使样本出现概率最大的参数值作为估计值。

步骤：

1. 写出似然函数 L(θ)=∏i=1nf(xi;θ)L(\theta) = \prod_{i=1}^n f(x_i;\theta)L(θ)=∏i=1nf(xi;θ)
2. 取对数得 ln⁡L(θ)\ln L(\theta)lnL(θ)
3. 对 θ\thetaθ 求导并令导数为0
4. 解方程得到最大似然估计量

例题 ：设 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_nX1,X2,⋯,Xn 是来自正态总体 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2) 的样本，求 μ\muμ 和 σ2\sigma^2σ2 的最大似然估计。

解 ：

似然函数：

L(μ,σ2)=∏i=1n12πσ2e−(xi−μ)22σ2=(2πσ2)−n2e−12σ2∑i=1n(xi−μ)2L(\mu,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}} = (2\pi\sigma^2)^{-\frac{n}{2}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2}L(μ,σ2)=i=1∏n2πσ2 1e−2σ2(xi−μ)2=(2πσ2)−2ne−2σ21∑i=1n(xi−μ)2

取对数：

ln⁡L(μ,σ2)=−n2ln⁡(2π)−n2ln⁡σ2−12σ2∑i=1n(xi−μ)2\ln L(\mu,\sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2lnL(μ,σ2)=−2nln(2π)−2nlnσ2−2σ21i=1∑n(xi−μ)2

分别对 μ\muμ 和 σ2\sigma^2σ2 求偏导：

∂ln⁡L∂μ=1σ2∑i=1n(xi−μ)=0\frac{\partial \ln L}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^n (x_i-\mu) = 0∂μ∂lnL=σ21i=1∑n(xi−μ)=0

∂ln⁡L∂σ2=−n2σ2+12σ4∑i=1n(xi−μ)2=0\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum_{i=1}^n (x_i-\mu)^2 = 0∂σ2∂lnL=−2σ2n+2σ41i=1∑n(xi−μ)2=0

解得：

μ^=Xˉ,σ^2=1n∑i=1n(Xi−Xˉ)2\hat{\mu} = \bar{X}, \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i-\bar{X})^2μ^=Xˉ,σ^2=n1i=1∑n(Xi−Xˉ)2

二、估计量的评选标准

1. 无偏性

若 E(θ^)=θE(\hat{\theta}) = \thetaE(θ^)=θ，则称 θ^\hat{\theta}θ^ 是 θ\thetaθ 的无偏估计。

例题 ：证明样本均值 Xˉ\bar{X}Xˉ 是总体均值 μ\muμ 的无偏估计。

证明：E(Xˉ)=E(1n∑i=1nXi)=1n∑i=1nE(Xi)=μE(\bar{X}) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \muE(Xˉ)=E(n1∑i=1nXi)=n1∑i=1nE(Xi)=μ

2. 有效性

设 θ^1\hat{\theta}_1θ^1 和 θ^2\hat{\theta}_2θ^2 都是 θ\thetaθ 的无偏估计，若 D(θ^1)<D(θ^2)D(\hat{\theta}_1) < D(\hat{\theta}_2)D(θ^1)<D(θ^2)，则称 θ^1\hat{\theta}_1θ^1 比 θ^2\hat{\theta}_2θ^2 有效。

3. 相合性

若 lim⁡n→∞P(∣θ^n−θ∣<ε)=1\lim_{n\to\infty} P(|\hat{\theta}_n - \theta| < \varepsilon) = 1limn→∞P(∣θ^n−θ∣<ε)=1 对任意 ε>0\varepsilon > 0ε>0 成立，则称 θ^n\hat{\theta}_nθ^n 是 θ\thetaθ 的相合估计。

三、区间估计

1. 基本概念

置信区间 ：设 θ\thetaθ 是总体参数，X1,X2,⋯ ,XnX_1,X_2,\cdots,X_nX1,X2,⋯,Xn 是样本，若存在两个统计量 θ^1\hat{\theta}_1θ^1 和 θ^2\hat{\theta}_2θ^2，使得：

P(θ^1<θ<θ^2)=1−αP(\hat{\theta}_1 < \theta < \hat{\theta}_2) = 1 - \alphaP(θ^1<θ<θ^2)=1−α

则称 (θ^1,θ^2)(\hat{\theta}_1, \hat{\theta}_2)(θ^1,θ^2) 为 θ\thetaθ 的置信水平为 1−α1-\alpha1−α 的置信区间。

置信水平 ：1−α1-\alpha1−α，通常取0.95、0.99等。

2. (0-1)分布参数的区间估计

设 X∼B(1,p)X \sim B(1,p)X∼B(1,p)，X1,X2,⋯ ,XnX_1,X_2,\cdots,X_nX1,X2,⋯,Xn 为样本，样本均值 Xˉ=1n∑i=1nXi\bar{X} = \frac{1}{n}\sum_{i=1}^n X_iXˉ=n1∑i=1nXi

当 nnn 充分大时，ppp 的置信水平为 1−α1-\alpha1−α 的近似置信区间为：

(Xˉ−zα/2Xˉ(1−Xˉ)n,Xˉ+zα/2Xˉ(1−Xˉ)n)\left(\bar{X} - z_{\alpha/2}\sqrt{\frac{\bar{X}(1-\bar{X})}{n}}, \bar{X} + z_{\alpha/2}\sqrt{\frac{\bar{X}(1-\bar{X})}{n}}\right)(Xˉ−zα/2nXˉ(1−Xˉ) ,Xˉ+zα/2nXˉ(1−Xˉ) )

其中 zα/2z_{\alpha/2}zα/2 是标准正态分布的上 α/2\alpha/2α/2 分位数。

四、正态总体的均值和方差的置信区间

1. 单个正态总体均值的置信区间

(1) σ2\sigma^2σ2 已知时

(Xˉ−zα/2σn,Xˉ+zα/2σn)\left(\bar{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}}, \bar{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right)(Xˉ−zα/2n σ,Xˉ+zα/2n σ)

(2) σ2\sigma^2σ2 未知时

(Xˉ−tα/2(n−1)Sn,Xˉ+tα/2(n−1)Sn)\left(\bar{X} - t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \bar{X} + t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}\right)(Xˉ−tα/2(n−1)n S,Xˉ+tα/2(n−1)n S)

其中 S2=1n−1∑i=1n(Xi−Xˉ)2S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X})^2S2=n−11∑i=1n(Xi−Xˉ)2，tα/2(n−1)t_{\alpha/2}(n-1)tα/2(n−1) 是 ttt 分布的上 α/2\alpha/2α/2 分位数。

2. 单个正态总体方差的置信区间

((n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1))\left(\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}, \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right)(χα/22(n−1)(n−1)S2,χ1−α/22(n−1)(n−1)S2)

其中 χα/22(n−1)\chi^2_{\alpha/2}(n-1)χα/22(n−1) 是 χ2\chi^2χ2 分布的上 α/2\alpha/2α/2 分位数。

例题 ：从正态总体中抽取容量为16的样本，测得样本均值 xˉ=50\bar{x} = 50xˉ=50，样本标准差 s=8s = 8s=8，求总体均值 μ\muμ 的95%置信区间。
解 ：α=0.05\alpha = 0.05α=0.05，t0.025(15)=2.131t_{0.025}(15) = 2.131t0.025(15)=2.131

置信区间为：

(50−2.131×816,50+2.131×816)=(45.738,54.262)\left(50 - 2.131\times\frac{8}{\sqrt{16}}, 50 + 2.131\times\frac{8}{\sqrt{16}}\right) = (45.738, 54.262)(50−2.131×16 8,50+2.131×16 8)=(45.738,54.262)

五、单侧置信区间

1. 基本概念

单侧置信区间：只关心参数的上限或下限时的区间估计。

• 单侧置信下限：满足 P(θ>θ^L)=1−αP(\theta > \hat{\theta}_L) = 1-\alphaP(θ>θ^L)=1−α 的 θ^L\hat{\theta}_Lθ^L
• 单侧置信上限：满足 P(θ<θ^U)=1−αP(\theta < \hat{\theta}_U) = 1-\alphaP(θ<θ^U)=1−α 的 θ^U\hat{\theta}_Uθ^U

2. 正态总体均值的单侧置信区间

(1) σ2\sigma^2σ2 已知时

• 单侧置信下限：Xˉ−zασn\bar{X} - z_\alpha\frac{\sigma}{\sqrt{n}}Xˉ−zαn σ
• 单侧置信上限：Xˉ+zασn\bar{X} + z_\alpha\frac{\sigma}{\sqrt{n}}Xˉ+zαn σ

(2) σ2\sigma^2σ2 未知时

• 单侧置信下限：Xˉ−tα(n−1)Sn\bar{X} - t_\alpha(n-1)\frac{S}{\sqrt{n}}Xˉ−tα(n−1)n S
• 单侧置信上限：Xˉ+tα(n−1)Sn\bar{X} + t_\alpha(n-1)\frac{S}{\sqrt{n}}Xˉ+tα(n−1)n S

例题 ：某批电子元件寿命服从正态分布，现抽取10个测得平均寿命 xˉ=1200\bar{x} = 1200xˉ=1200 小时，标准差 s=100s = 100s=100 小时，求平均寿命的95%单侧置信下限。
解 ：t0.05(9)=1.833t_{0.05}(9) = 1.833t0.05(9)=1.833

单侧置信下限：1200−1.833×10010=1200−57.98=1142.021200 - 1.833\times\frac{100}{\sqrt{10}} = 1200 - 57.98 = 1142.021200−1.833×10 100=1200−57.98=1142.02 小时

历年考题分析

考题1 ：设总体 XXX 服从参数为 λ\lambdaλ 的泊松分布，X1,X2,⋯ ,XnX_1,X_2,\cdots,X_nX1,X2,⋯,Xn 是样本，求 λ\lambdaλ 的矩估计量和最大似然估计量。
解 ：

矩估计：E(X)=λ=XˉE(X) = \lambda = \bar{X}E(X)=λ=Xˉ，故 λ^=Xˉ\hat{\lambda} = \bar{X}λ^=Xˉ

最大似然估计：

似然函数 L(λ)=∏i=1nλxie−λxi!L(\lambda) = \prod_{i=1}^n \frac{\lambda^{x_i}e^{-\lambda}}{x_i!}L(λ)=∏i=1nxi!λxie−λ

ln⁡L(λ)=∑i=1nxiln⁡λ−nλ−∑i=1nln⁡(xi!)\ln L(\lambda) = \sum_{i=1}^n x_i\ln\lambda - n\lambda - \sum_{i=1}^n \ln(x_i!)lnL(λ)=i=1∑nxilnλ−nλ−i=1∑nln(xi!)

dln⁡Ldλ=∑xiλ−n=0\frac{d\ln L}{d\lambda} = \frac{\sum x_i}{\lambda} - n = 0dλdlnL=λ∑xi−n=0

解得 λ^=Xˉ\hat{\lambda} = \bar{X}λ^=Xˉ

考题2 ：从正态总体 N(μ,4)N(\mu,4)N(μ,4) 中抽取容量为9的样本，测得样本均值 xˉ=5\bar{x} = 5xˉ=5，求 μ\muμ 的95%置信区间。
解 ：z0.025=1.96z_{0.025} = 1.96z0.025=1.96

置信区间：(5−1.96×23,5+1.96×23)=(3.693,6.307)\left(5 - 1.96\times\frac{2}{3}, 5 + 1.96\times\frac{2}{3}\right) = (3.693, 6.307)(5−1.96×32,5+1.96×32)=(3.693,6.307)