【TJU】研究生应用统计学课程笔记（5）——第二章 参数估计（2.3 C-R不等式）

【TJU】研究生应用统计学课程笔记（5）------第二章 参数估计（2.3 C-R不等式）

• [2.3 C-R不等式](#2.3 C-R不等式)
• • [2.3.1 Rao-Cramer不等式](#2.3.1 Rao-Cramer不等式)
  • • [1️⃣ Rao-Cramer 正则分布族](#1️⃣ Rao-Cramer 正则分布族)
    • [2️⃣ Rao-Cramer 不等式](#2️⃣ Rao-Cramer 不等式)
  • [2.3.2 有效估计量](#2.3.2 有效估计量)
  • • [1️⃣ 有效估计量的定义](#1️⃣ 有效估计量的定义)
    • [2️⃣ 相对效率的定义](#2️⃣ 相对效率的定义)

2.3 C-R不等式

2.3.1 Rao-Cramer不等式

1️⃣ Rao-Cramer 正则分布族

定义： 若单参数分布密度族 (或单参数概率分布族) { f ( x ; θ ) : θ ∈ Θ } \{f(x; \theta) : \theta \in \Theta\} {f(x;θ):θ∈Θ} 满足如下条件：

• (1) 参数空间 Θ \Theta Θ 是数轴上的一个开区间；

• (2) 导数 ∂ f ( x ; θ ) ∂ θ \frac{\partial f(x; \theta)}{\partial \theta} ∂θ∂f(x;θ) 对一切 θ ∈ Θ \theta \in \Theta θ∈Θ 都存在；

• (3) 集合 S θ ≜ { x : f ( x ; θ ) > 0 } S_\theta \triangleq \{x : f(x; \theta) > 0\} Sθ≜{x:f(x;θ)>0} 与 θ \theta θ 无关 ( S θ S_\theta Sθ 称为支撑)；

• (4) ∂ ∂ θ ∫ f ( x ; θ ) d x = ∫ ∂ f ( x ; θ ) ∂ θ d x = 0 \frac{\partial}{\partial \theta} \int f(x; \theta) dx = \int \frac{\partial f(x; \theta)}{\partial \theta} dx = 0 ∂θ∂∫f(x;θ)dx=∫∂θ∂f(x;θ)dx=0, 对一切 θ ∈ Θ \theta \in \Theta θ∈Θ；

• (5) 对任 θ ∈ Θ \theta \in \Theta θ∈Θ, 有 0 < I ( θ ) ≜ E θ [ ∂ ∂ θ log ⁡ f ( X ; θ ) ] 2 = ∫ ( ∂ log ⁡ f ( x ; θ ) ∂ θ ) 2 f ( x ; θ ) d x , 0 < I(\theta) \triangleq E_\theta \left[ \frac{\partial}{\partial \theta} \log f(X; \theta) \right]^2 = \int \left( \frac{\partial \log f(x; \theta)}{\partial \theta} \right)^2 f(x; \theta) dx, 0<I(θ)≜Eθ[∂θ∂logf(X;θ)]2=∫(∂θ∂logf(x;θ))2f(x;θ)dx,

则称这个分布密度族 (概率分布族) 为 Rao-Cramer 正则分布族，其中条件 (1)-(5) 称为正则条件， I ( θ ) I(\theta) I(θ) 称为该分布密度族的 Fisher 信息函数。

例 1： 验证 Poisson 分布族 { f ( x ; λ ) = λ x x ! e − λ , x = 0 , 1 , 2 , ⋯ : λ > 0 } \{f(x; \lambda) = \frac{\lambda^x}{x!}e^{-\lambda}, x = 0, 1, 2, \cdots : \lambda > 0\} {f(x;λ)=x!λxe−λ,x=0,1,2,⋯:λ>0} 是 Rao-Cramer 正则分布族。

解：

(1) 参数空间 { λ > 0 } \{\lambda > 0\} {λ>0} 是一开区间；

(2) ∂ f ( x ; λ ) ∂ λ = λ x − 1 x ! ( x − λ ) e − λ \frac{\partial f(x; \lambda)}{\partial \lambda} = \frac{\lambda^{x-1}}{x!}(x - \lambda)e^{-\lambda} ∂λ∂f(x;λ)=x!λx−1(x−λ)e−λ, 对一切 λ > 0 \lambda > 0 λ>0 存在；

(3) f ( x ; λ ) > 0 f(x; \lambda) > 0 f(x;λ)>0, 对一切非负整数 x x x 及 λ \lambda λ 成立；

(4) ∑ x = 0 ∞ λ x − 1 x ! ( x − λ ) e − λ = ∑ x = 1 ∞ λ x − 1 ( x − 1 ) ! e − λ − ∑ x = 0 ∞ λ x x ! e − λ = 1 − 1 = 0 ; \sum_{x=0}^{\infty} \frac{\lambda^{x-1}}{x!}(x-\lambda)e^{-\lambda} = \sum_{x=1}^{\infty} \frac{\lambda^{x-1}}{(x-1)!}e^{-\lambda} - \sum_{x=0}^{\infty} \frac{\lambda^x}{x!}e^{-\lambda} = 1 - 1 = 0; x=0∑∞x!λx−1(x−λ)e−λ=x=1∑∞(x−1)!λx−1e−λ−x=0∑∞x!λxe−λ=1−1=0;(5) log ⁡ f ( x ; λ ) = x log ⁡ λ − log ⁡ x ! − λ , ∂ log ⁡ f ( x ; λ ) ∂ λ = x λ − 1 , \log f(x; \lambda) = x \log \lambda - \log x! - \lambda, \frac{\partial \log f(x; \lambda)}{\partial \lambda} = \frac{x}{\lambda} - 1, logf(x;λ)=xlogλ−logx!−λ,∂λ∂logf(x;λ)=λx−1, 因此 E λ [ ∂ log ⁡ f ( X ; λ ) ∂ λ ] = 1 λ E λ ( X ) − 1 = 0 , E_\lambda \left[ \frac{\partial \log f(X; \lambda)}{\partial \lambda} \right] = \frac{1}{\lambda} E_\lambda (X) - 1 = 0, Eλ[∂λ∂logf(X;λ)]=λ1Eλ(X)−1=0, I ( λ ) = E λ [ ∂ log ⁡ f ( X ; λ ) ∂ λ ] 2 = D λ ( X λ − 1 ) = D λ ( X ) λ 2 = 1 λ , I(\lambda) = E_\lambda \left[ \frac{\partial \log f(X; \lambda)}{\partial \lambda} \right]^2 = D_\lambda \left( \frac{X}{\lambda} - 1 \right) = \frac{D_\lambda (X)}{\lambda^2} = \frac{1}{\lambda}, I(λ)=Eλ[∂λ∂logf(X;λ)]2=Dλ(λX−1)=λ2Dλ(X)=λ1,故 Poisson 分布族是 Rao-Cramer 正则分布族。

例 2： 证明正态分布族 { N ( μ , 1 ) : − ∞ < μ < ∞ } \{N(\mu, 1) : -\infty < \mu < \infty\} {N(μ,1):−∞<μ<∞} 是 Rao-Cramer 正则分布族。

解： 所考虑的正态分布密度为 f ( x ; μ ) = 1 2 π e − 1 2 ( x − μ ) 2 , f(x; \mu) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x-\mu)^2}, f(x;μ)=2π 1e−21(x−μ)2,

(1) 参数空间 { − ∞ < μ < + ∞ } \{-\infty < \mu < +\infty\} {−∞<μ<+∞} 是一开区间；

(2) ∂ f ( x ; μ ) ∂ μ = 1 2 π e − 1 2 ( x − μ ) 2 ( x − μ ) \frac{\partial f(x; \mu)}{\partial \mu} = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x-\mu)^2}(x - \mu) ∂μ∂f(x;μ)=2π 1e−21(x−μ)2(x−μ), 对一切 μ ∈ R \mu \in R μ∈R 存在；

(3) f ( x ; μ ) > 0 f(x; \mu) > 0 f(x;μ)>0, 对一切 x , μ ∈ R x, \mu \in R x,μ∈R 成立；

(4) ∫ − ∞ ∞ 1 2 π e − 1 2 ( x − μ ) 2 ( x − μ ) d x = E ( X − μ ) = μ − μ = 0 ; \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x-\mu)^2}(x - \mu) dx = E(X - \mu) = \mu - \mu = 0; ∫−∞∞2π 1e−21(x−μ)2(x−μ)dx=E(X−μ)=μ−μ=0;

(5) log ⁡ f ( x ; μ ) = log ⁡ 1 2 π − ( x − μ ) 2 2 , ∂ log ⁡ f ( x ; μ ) ∂ μ = x − μ , \log f(x; \mu) = \log \frac{1}{\sqrt{2\pi}} - \frac{(x - \mu)^2}{2}, \quad \frac{\partial \log f(x; \mu)}{\partial \mu} = x - \mu, logf(x;μ)=log2π 1−2(x−μ)2,∂μ∂logf(x;μ)=x−μ,故 E μ [ ∂ log ⁡ f ( X ; μ ) ∂ μ ] 2 = E μ ( X − μ ) 2 = D μ X = 1. E_\mu \left[ \frac{\partial \log f(X; \mu)}{\partial \mu} \right]^2 = E_\mu (X - \mu)^2 = D_\mu X = 1. Eμ[∂μ∂logf(X;μ)]2=Eμ(X−μ)2=DμX=1.所以正态分布族 { N ( μ , 1 ) : − ∞ < μ < ∞ } \{N(\mu, 1) : -\infty < \mu < \infty\} {N(μ,1):−∞<μ<∞} 是 Rao-Cramer 正则分布族。

注：

• (1) 常用的单参数分布族都是 Rao--Cramer 正则分布族，但均匀分布族 { U ( 0 , θ ) : θ > 0 } \{U(0, \theta) : \theta > 0\} {U(0,θ):θ>0} 不是 Rao--Cramer 正则分布族，因为它的支撑 S θ = { x : f ( x ; θ ) > 0 } S_\theta = \{x : f(x; \theta) > 0\} Sθ={x:f(x;θ)>0} 是一个依赖于 θ \theta θ 的开区间。

• (2) 计算 I ( θ ) I(\theta) I(θ) 的一个简便方法： I ( θ ) = − E θ ( ∂ 2 log ⁡ f ( X ; θ ) ∂ θ 2 ) I(\theta) = -E_\theta \left( \frac{\partial^2 \log f(X; \theta)}{\partial \theta^2} \right) I(θ)=−Eθ(∂θ2∂2logf(X;θ))

2️⃣ Rao-Cramer 不等式

定理：(Rao-Cramer 不等式) 设总体 X X X 的概率分布密度族 { f ( x ; θ ) : θ ∈ Θ } \{f(x; \theta) : \theta \in \Theta\} {f(x;θ):θ∈Θ} 是 Rao-Cramer 正则分布族，可估函数 g ( θ ) g(\theta) g(θ) 是 Θ \Theta Θ 上的可微函数， ( X 1 , ⋯   , X n ) (X_1, \cdots, X_n) (X1,⋯,Xn) 是取自总体 X X X 的一个样本。若 T ( X 1 , ⋯   , X n ) T(X_1, \cdots, X_n) T(X1,⋯,Xn) 是 g ( θ ) g(\theta) g(θ) 的一个无偏估计量，且对一切 θ ∈ Θ \theta \in \Theta θ∈Θ，满足： ∂ ∂ θ ∫ T ( x 1 , ⋯   , x n ) L ( x 1 , ⋯   , x n ; θ ) d x 1 ⋯ d x n = ∫ T ( x 1 , ⋯   , x n ) ∂ ∂ θ L ( x 1 , ⋯   , x n ; θ ) d x 1 ⋯ d x n ( ∗ ) \frac{\partial}{\partial \theta} \int T(x_1, \cdots, x_n) L(x_1, \cdots, x_n; \theta) dx_1 \cdots dx_n = \int T(x_1, \cdots, x_n) \frac{\partial}{\partial \theta} L(x_1, \cdots, x_n; \theta) dx_1 \cdots dx_n \quad (*) ∂θ∂∫T(x1,⋯,xn)L(x1,⋯,xn;θ)dx1⋯dxn=∫T(x1,⋯,xn)∂θ∂L(x1,⋯,xn;θ)dx1⋯dxn(∗)

其中 L ( x 1 , ⋯   , x n ; θ ) = ∏ i = 1 n f ( x i ; θ ) L(x_1, \cdots, x_n; \theta) = \prod_{i=1}^n f(x_i; \theta) L(x1,⋯,xn;θ)=∏i=1nf(xi;θ) 是样本 ( X 1 , ⋯   , X n ) (X_1, \cdots, X_n) (X1,⋯,Xn) 的联合分布密度函数。则对一切 θ ∈ Θ \theta \in \Theta θ∈Θ，有： D θ ( T ) ≥ [ g ′ ( θ ) ] 2 n I ( θ ) ( 1 ) D_\theta(T) \ge \frac{[g'(\theta)]^2}{nI(\theta)} \quad (1) Dθ(T)≥nI(θ)[g′(θ)]2(1)

其中 I ( θ ) I(\theta) I(θ) 是该分布族的 Fisher 信息函数。

特别当 g ( θ ) = θ g(\theta) = \theta g(θ)=θ 时， D θ ( T ) ≥ 1 n I ( θ ) D_\theta(T) \ge \frac{1}{nI(\theta)} Dθ(T)≥nI(θ)1。如果 (1) 中等号成立，当且仅当 ∃ C ( θ ) ≠ 0 , s.t. \exists C(\theta) \neq 0, \text{s.t.} ∃C(θ)=0,s.t. ∂ ln ⁡ L ( x 1 , ⋯   , x n ; θ ) ∂ θ = C ( θ ) [ T ( x 1 , ... , x n ) − g ( θ ) ] a.s. \frac{\partial \ln L(x_1, \cdots, x_n; \theta)}{\partial \theta} = C(\theta)[T(x_1, \dots, x_n) - g(\theta)] \text{ a.s.} ∂θ∂lnL(x1,⋯,xn;θ)=C(θ)[T(x1,...,xn)−g(θ)] a.s.

注：

• (1) 称满足上述定理中正则条件的估计量 T T T 为正规估计量。

• (2) 称 Rao---Cramer 不等式所规定的下界为 C--R 下界。

• (3) 若一个无偏估计 T T T 的方差达到这个下界，且 g ( θ ) g(\theta) g(θ) 的一切无偏估计都满足条件 ( ∗ ) (*) (∗)，则 T T T 就是 g ( θ ) g(\theta) g(θ) 的 UMVUE (一致最小方差无偏估计)。

• (4) 离散型总体：密度函数 → \rightarrow → 概率分布，积分 → \rightarrow → 求和。

• (5) n I ( θ ) nI(\theta) nI(θ) 越大， V a r θ ( T ) Var_\theta(T) Varθ(T) 可达下界越低，即 g ( θ ) g(\theta) g(θ) 可能被估计得越准确。所以 I ( θ ) I(\theta) I(θ) 在一定意义上表示对 X X X 进行观测所提供的关于未知参数 θ \theta θ 的平均信息。

• (6) C--R 不等式只对 C--R 正则族成立。如定理中条件之一不满足，C--R 不等式可能不成立。

例： 设 ( X 1 , ... , X n ) (X_1, \dots, X_n) (X1,...,Xn) 是总体 X X X 的一个样本， X X X 的密度函数为 f ( x ; θ ) = e − ( x − θ ) , x > θ . f(x; \theta) = e^{-(x-\theta)}, x > \theta. f(x;θ)=e−(x−θ),x>θ. 因为 { x : f ( x ; θ ) > 0 } = { x > θ } \{x : f(x; \theta) > 0\} = \{x > \theta\} {x:f(x;θ)>0}={x>θ}，所以不是 C--R 正则族。

形式上计算 C--R 下界： I ( θ ) = E [ ∂ ln ⁡ f ( X ; θ ) ∂ θ ] 2 = E ( 1 ) = 1 , 下界 1 n I(\theta) = E\left[ \frac{\partial \ln f(X; \theta)}{\partial \theta} \right]^2 = E(1) = 1, \text{下界 } \frac{1}{n} I(θ)=E[∂θ∂lnf(X;θ)]2=E(1)=1,下界 n1 θ ^ = X ( 1 ) − 1 n , f ( t ; θ ) = n e − ( n t − n θ + 1 ) , t > θ − 1 n . \hat{\theta} = X_{(1)} - \frac{1}{n}, \quad f(t; \theta) = ne^{-(nt-n\theta+1)}, \quad t > \theta - \frac{1}{n}. θ^=X(1)−n1,f(t;θ)=ne−(nt−nθ+1),t>θ−n1. E ( θ ^ ) = θ , E ( θ ^ 2 ) = θ 2 + 1 n 2 , D ( θ ^ ) = 1 n 2 < 1 n E(\hat{\theta}) = \theta, \quad E(\hat{\theta}^2) = \theta^2 + \frac{1}{n^2}, \quad D(\hat{\theta}) = \frac{1}{n^2} < \frac{1}{n} E(θ^)=θ,E(θ^2)=θ2+n21,D(θ^)=n21<n1

例 3： 设总体 X X X 具有 Bernoulli 分布族 { b ( 1 , p ) : p ∈ ( 0 , 1 ) } \{b(1, p) : p \in (0, 1)\} {b(1,p):p∈(0,1)}， ( X 1 , ⋯   , X n ) (X_1, \cdots, X_n) (X1,⋯,Xn) 是取自这一总体的样本，求 p p p 的正规无偏估计的方差下界.

解： f ( x ; p ) = p x ( 1 − p ) 1 − x , x = 0 , 1 , 0 < p < 1 , f(x; p) = p^x(1 - p)^{1-x}, \quad x = 0, 1, \quad 0 < p < 1, f(x;p)=px(1−p)1−x,x=0,1,0<p<1, ∑ x = 0 1 ∂ f ( x ; p ) ∂ p = ∑ x = 0 1 [ x p x − 1 ( 1 − p ) 1 − x − p x ( 1 − x ) ( 1 − p ) − x ] = 0 , \sum_{x=0}^{1} \frac{\partial f(x; p)}{\partial p} = \sum_{x=0}^{1} [xp^{x-1}(1 - p)^{1-x} - p^x(1 - x)(1 - p)^{-x}] = 0, x=0∑1∂p∂f(x;p)=x=0∑1[xpx−1(1−p)1−x−px(1−x)(1−p)−x]=0,且 log ⁡ f ( x ; p ) = x log ⁡ p + ( 1 − x ) log ⁡ ( 1 − p ) \log f(x; p) = x \log p + (1 - x) \log(1 - p) logf(x;p)=xlogp+(1−x)log(1−p) I ( p ) = E p [ ∂ ∂ p log ⁡ f ( X ; p ) ] 2 = ∑ x = 0 1 [ ∂ log ⁡ f ( x ; p ) ∂ p ] 2 f ( x ; p ) = ∑ x = 0 1 [ x p − 1 − x 1 − p ] 2 f ( x ; p ) = 1 p ( 1 − p ) > 0. \begin{aligned} I(p) &= E_p \left[ \frac{\partial}{\partial p} \log f(X; p) \right]^2 = \sum_{x=0}^{1} \left[ \frac{\partial \log f(x; p)}{\partial p} \right]^2 f(x; p) \\ &= \sum_{x=0}^{1} \left[ \frac{x}{p} - \frac{1-x}{1-p} \right]^2 f(x; p) = \frac{1}{p(1-p)} > 0. \end{aligned} I(p)=Ep[∂p∂logf(X;p)]2=x=0∑1[∂p∂logf(x;p)]2f(x;p)=x=0∑1[px−1−p1−x]2f(x;p)=p(1−p)1>0.

可以验证 Bernoulli 分布族是 Rao-Cramer 正则分布族，故 p p p 的正规无偏估计的方差下界为 1 n I ( p ) = p ( 1 − p ) n . \frac{1}{nI(p)} = \frac{p(1 - p)}{n}. nI(p)1=np(1−p).
p ^ = X ˉ \hat{p} = \bar{X} p^=Xˉ 是 p p p 的无偏估计，而 D ( X ˉ ) = p ( 1 − p ) n D(\bar{X}) = \frac{p(1 - p)}{n} D(Xˉ)=np(1−p) 达到 Rao-Cramer 不等式的下界。

例 4： 设 X X X 的密度函数为 f ( x ; λ ) = { λ e − λ x , x > 0 ; 0 , x ≤ 0 , f(x; \lambda) = \begin{cases} \lambda e^{-\lambda x}, & x > 0; \\ 0, & x \le 0, \end{cases} f(x;λ)={λe−λx,0,x>0;x≤0, ( X 1 , ⋯   , X n ) (X_1, \cdots, X_n) (X1,⋯,Xn) 是取自总体 X X X 的样本，未知参数 λ > 0 \lambda > 0 λ>0，求待估函数 u ( λ ) = 1 λ u(\lambda) = \frac{1}{\lambda} u(λ)=λ1 的正规无偏估计量的 C--R 下界。

解： 指数分布族是 Rao--Cramer 正则分布族，且当 x > 0 x > 0 x>0 时， log ⁡ f ( x ; λ ) = − λ x + log ⁡ λ \log f(x; \lambda) = -\lambda x + \log \lambda logf(x;λ)=−λx+logλ ∂ 2 log ⁡ f ( x ; λ ) ∂ λ 2 = ∂ 2 ( − λ x + log ⁡ λ ) ∂ λ 2 = ∂ ∂ λ ( − x + 1 λ ) = − 1 λ 2 \frac{\partial^2 \log f(x; \lambda)}{\partial \lambda^2} = \frac{\partial^2 (-\lambda x + \log \lambda)}{\partial \lambda^2} = \frac{\partial}{\partial \lambda} \left( -x + \frac{1}{\lambda} \right) = -\frac{1}{\lambda^2} ∂λ2∂2logf(x;λ)=∂λ2∂2(−λx+logλ)=∂λ∂(−x+λ1)=−λ21

所以 I ( λ ) = − E ( ∂ 2 log ⁡ f ( X ; λ ) ∂ λ 2 ) = − E ( − 1 λ 2 ) = 1 λ 2 I(\lambda) = -E \left( \frac{\partial^2 \log f(X; \lambda)}{\partial \lambda^2} \right) = -E \left( -\frac{1}{\lambda^2} \right) = \frac{1}{\lambda^2} I(λ)=−E(∂λ2∂2logf(X;λ))=−E(−λ21)=λ21C--R 下界： [ u ′ ( λ ) ] 2 n I ( λ ) = 1 n λ 2 . \frac{[u'(\lambda)]^2}{nI(\lambda)} = \frac{1}{n\lambda^2}. nI(λ)[u′(λ)]2=nλ21.
E ( X ˉ ) = E ( X ) = 1 λ = u ( λ ) E(\bar{X}) = E(X) = \frac{1}{\lambda} = u(\lambda) E(Xˉ)=E(X)=λ1=u(λ), D ( X ˉ ) = 1 n D ( X ) = 1 n ⋅ 1 λ 2 = 1 n λ 2 D(\bar{X}) = \frac{1}{n}D(X) = \frac{1}{n} \cdot \frac{1}{\lambda^2} = \frac{1}{n\lambda^2} D(Xˉ)=n1D(X)=n1⋅λ21=nλ21, X ˉ \bar{X} Xˉ 的方差达到 C--R 下界。

2.3.2 有效估计量

1️⃣ 有效估计量的定义

定义： 设总体 X X X 的概率分布密度族 { f ( x ; θ ) : θ ∈ Θ } \{f(x; \theta) : \theta \in \Theta\} {f(x;θ):θ∈Θ} 是 Rao-Cramer 正则分布族， g ( θ ) g(\theta) g(θ) 是可估函数， T = T ( X 1 , ⋯   , X n ) T = T(X_1, \cdots, X_n) T=T(X1,⋯,Xn) 是 g ( θ ) g(\theta) g(θ) 的估计量。

• (1) 若 E θ ( T ) = g ( θ ) E_\theta(T) = g(\theta) Eθ(T)=g(θ)，则称 e θ ( T ) = [ g ′ ( θ ) ] 2 n I ( θ ) D θ ( T ) e_\theta(T) = \frac{\frac{[g'(\theta)]^2}{nI(\theta)}}{D_\theta(T)} eθ(T)=Dθ(T)nI(θ)[g′(θ)]2 为 g ( θ ) g(\theta) g(θ) 的无偏估计量 T T T 的效率。

• (2) 若 E θ ( T ) = g ( θ ) E_\theta(T) = g(\theta) Eθ(T)=g(θ)，且 e θ ( T ) = 1 e_\theta(T) = 1 eθ(T)=1，则称 T T T 为 g ( θ ) g(\theta) g(θ) 的有效估计量。

• (3) 设 T n = T n ( X 1 , ⋯   , X n ) T_n = T_n(X_1, \cdots, X_n) Tn=Tn(X1,⋯,Xn) 是 g ( θ ) g(\theta) g(θ) 的一列无偏估计，若 lim ⁡ n → ∞ e θ ( T n ) = e 0 , \lim_{n \to \infty} e_\theta(T_n) = e_0, n→∞limeθ(Tn)=e0,则称 e 0 e_0 e0 为 T n T_n Tn 的渐近效率；当 e 0 = 1 e_0 = 1 e0=1 时，称 T n T_n Tn 是 g ( θ ) g(\theta) g(θ) 的渐近有效估计。

例 5： 设 X X X 服从 Γ ( r , 1 λ ) \Gamma(r, \frac{1}{\lambda}) Γ(r,λ1)，即 f ( x ; λ ) = { 1 λ r Γ ( r ) x r − 1 e − x λ , x > 0 ; 0 , x ≤ 0 , f(x; \lambda) = \begin{cases} \frac{1}{\lambda^r \Gamma(r)} x^{r-1} e^{-\frac{x}{\lambda}}, & x > 0; \\ 0, & x \le 0, \end{cases} f(x;λ)={λrΓ(r)1xr−1e−λx,0,x>0;x≤0,其中 r > 0 r > 0 r>0 已知， λ > 0 \lambda > 0 λ>0 未知， ( X 1 , ... , X n ) (X_1, \dots, X_n) (X1,...,Xn) 为 X X X 的样本，证明： 1 n r ∑ i = 1 n X i \frac{1}{nr} \sum_{i=1}^n X_i nr1∑i=1nXi 是 λ \lambda λ 的有效估计。

证： 因为 E ( 1 n r ∑ i = 1 n X i ) = 1 n r ∑ i = 1 n E ( X i ) = 1 n r n r λ = λ E(\frac{1}{nr} \sum_{i=1}^n X_i) = \frac{1}{nr} \sum_{i=1}^n E(X_i) = \frac{1}{nr} nr\lambda = \lambda E(nr1∑i=1nXi)=nr1∑i=1nE(Xi)=nr1nrλ=λ，所以 1 n r ∑ i = 1 n X i \frac{1}{nr} \sum_{i=1}^n X_i nr1∑i=1nXi 是 λ \lambda λ 的无偏估计。可以验证它是 Rao-Cramer 正则分布族， ln ⁡ f ( x , λ ) = − r ln ⁡ λ − ln ⁡ Γ ( r ) + ( r − 1 ) ln ⁡ x − x λ , \ln f(x, \lambda) = -r \ln \lambda - \ln \Gamma(r) + (r - 1) \ln x - \frac{x}{\lambda}, lnf(x,λ)=−rlnλ−lnΓ(r)+(r−1)lnx−λx,

则 ∂ ln ⁡ f ( x ; λ ) ∂ λ = − r λ + x λ 2 , ∂ 2 ln ⁡ f ( x ; λ ) ∂ λ 2 = r λ 2 − 2 x λ 3 \frac{\partial \ln f(x; \lambda)}{\partial \lambda} = -\frac{r}{\lambda} + \frac{x}{\lambda^2}, \quad \frac{\partial^2 \ln f(x; \lambda)}{\partial \lambda^2} = \frac{r}{\lambda^2} - \frac{2x}{\lambda^3} ∂λ∂lnf(x;λ)=−λr+λ2x,∂λ2∂2lnf(x;λ)=λ2r−λ32x所以 I ( λ ) = − E ( r λ 2 − 2 X λ 3 ) = − r λ 2 + 2 λ r λ 3 = r λ 2 I(\lambda) = -E \left( \frac{r}{\lambda^2} - \frac{2X}{\lambda^3} \right) = -\frac{r}{\lambda^2} + \frac{2\lambda r}{\lambda^3} = \frac{r}{\lambda^2} I(λ)=−E(λ2r−λ32X)=−λ2r+λ32λr=λ2r所以 C-R 下界为 1 n I ( λ ) = 1 n r λ 2 = λ 2 n r \frac{1}{nI(\lambda)} = \frac{1}{n \frac{r}{\lambda^2}} = \frac{\lambda^2}{nr} nI(λ)1=nλ2r1=nrλ2而 D ( 1 n r ∑ i = 1 n X i ) = 1 n 2 r 2 ∑ i = 1 n D ( X i ) = n r λ 2 n 2 r 2 = λ 2 n r D(\frac{1}{nr} \sum_{i=1}^n X_i) = \frac{1}{n^2r^2} \sum_{i=1}^n D(X_i) = \frac{nr\lambda^2}{n^2r^2} = \frac{\lambda^2}{nr} D(nr1∑i=1nXi)=n2r21∑i=1nD(Xi)=n2r2nrλ2=nrλ2 达到 C-R 下界，

所以 1 n r ∑ i = 1 n X i \frac{1}{nr} \sum_{i=1}^n X_i nr1∑i=1nXi 是 λ \lambda λ 的有效估计。

2️⃣ 相对效率的定义

定义 ： 对可估函数 g ( θ ) g(\theta) g(θ) 的任意两个无偏估计量 T 1 T_1 T1 和 T 2 T_2 T2，称 e ( T 1 ∣ T 2 ) = D θ ( T 1 ) D θ ( T 2 ) e(T_1|T_2) = \frac{D_\theta(T_1)}{D_\theta(T_2)} e(T1∣T2)=Dθ(T2)Dθ(T1)为估计量 T 1 T_1 T1 关于 T 2 T_2 T2 的相对效率；如果 e ( T 1 ∣ T 2 ) < 1 e(T_1|T_2) < 1 e(T1∣T2)<1，则称 T 1 T_1 T1 比 T 2 T_2 T2 有效。

注： 也就是若 D ( T 1 ) < D ( T 2 ) D(T_1) < D(T_2) D(T1)<D(T2)，则 T 1 T_1 T1 比 T 2 T_2 T2 有效。