Neyman因子分解定理

内容来源
数理统计学导论（原书第7版）机械工业出版社

因为要计算统计量的 p d f pdf pdf ，一般情况下，用定义直接验证一个统计量的充分性是困难的。

幸运的是，有一个判别充分统计量的充要条件： N e y m a n Neyman Neyman 因子分解定理

定理

设 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X1,X2,⋯,Xn 是来自分布 f ( x ; θ ) f(x;\theta) f(x;θ) 的随机样本

统计量 Y 1 = u 1 ( X 1 , X 2 , ⋯ , X n ) Y_1=u_1(X_1,X_2,\cdots,X_n) Y1=u1(X1,X2,⋯,Xn) 是 θ \theta θ 的一个充分统计量的充要条件为：

存在两个非负函数 k 1 , k 2 k_1,k_2 k1,k2 ，使得

f ( x 1 , x 2 , ⋯ , x n ; θ ) = k 1 $u 1 ( x 1 , x 2 , \dots , x n ) ; θ$ k 2 ( x 1 , x 2 , ⋯ , x n ) f(x_1,x_2,\cdots,x_n;\theta)=k_1 $u_1(x_1,x_2,\\cdots,x_n);\\theta$ k_2(x_1,x_2,\cdots,x_n) f(x1,x2,⋯,xn;θ)=k1 $u1(x1,x2,\dots,xn);θ$ k2(x1,x2,⋯,xn)

其中 k 2 k_2 k2 不依赖于 θ \theta θ

证明

假定因子分解成立

做一一变换

y 1 = u 1 ( x 1 , x 2 , ⋯ , x n ) y 2 = u 2 ( x 1 , x 2 , ⋯ , x n ) ⋮ y n = u n ( x 1 , x 2 , ⋯ , x n ) y_1=u_1(x_1,x_2,\cdots,x_n)\\ y_2=u_2(x_1,x_2,\cdots,x_n)\\ \vdots\\ y_n=u_n(x_1,x_2,\cdots,x_n)\\ y1=u1(x1,x2,⋯,xn)y2=u2(x1,x2,⋯,xn)⋮yn=un(x1,x2,⋯,xn)

它们的逆函数为

x 1 = w 1 ( y 1 , y 2 , ⋯ , y n ) x 2 = w 2 ( y 1 , y 2 , ⋯ , y n ) ⋮ x 3 = w 3 ( y 1 , y 2 , ⋯ , y n ) x_1=w_1(y_1,y_2,\cdots,y_n)\\ x_2=w_2(y_1,y_2,\cdots,y_n)\\ \vdots\\ x_3=w_3(y_1,y_2,\cdots,y_n)\\ x1=w1(y1,y2,⋯,yn)x2=w2(y1,y2,⋯,yn)⋮x3=w3(y1,y2,⋯,yn)

对应的雅可比行列式为 J J J

这个一一变换的作用跟画辅助线差不多，没什么特殊要求，怎么简单就怎么构造

于是，统计量 Y 1 , Y 2 , ⋯ , Y n Y_1,Y_2,\cdots,Y_n Y1,Y2,⋯,Yn 的 p d f pdf pdf 为

g ( y 1 , y 2 , ⋯ , y n ; θ ) = f ( w 1 , w 2 , ⋯ , w n ; θ ) ∣ J ∣ = k 1 ( y 1 ; θ ) k 2 ( w 1 , w 2 , ⋯ , w n ) ∣ J ∣ \begin{align*} g(y_1,y_2,\cdots,y_n;\theta)&=f(w_1,w_2,\cdots,w_n;\theta)|J|\\ &=k_1(y_1;\theta)k_2(w_1,w_2,\cdots,w_n)|J| \end{align*} g(y1,y2,⋯,yn;θ)=f(w1,w2,⋯,wn;θ)∣J∣=k1(y1;θ)k2(w1,w2,⋯,wn)∣J∣

那么

f Y 1 ( y 1 ; θ ) = ∫ ⋯ ∫ g ( y 1 , y 2 , ⋯ , y n ; θ ) d y 2 ⋯ d y n = k 1 ( y 1 ; θ ) ∫ ⋯ ∫ ∣ J ∣ k 2 ( w 1 , w 2 , ⋯ , w n ) d y 2 ⋯ d y n \begin{align*} f_{Y_1}(y_1;\theta)&=\int\cdots\int g(y_1,y_2,\cdots,y_n;\theta) \mathrm{d}y_2\cdots\mathrm{d}y_n\\ &=k_1(y_1;\theta)\int\cdots\int|J|k_2(w_1,w_2,\cdots,w_n) \mathrm{d}y_2\cdots\mathrm{d}y_n \end{align*} fY1(y1;θ)=∫⋯∫g(y1,y2,⋯,yn;θ)dy2⋯dyn=k1(y1;θ)∫⋯∫∣J∣k2(w1,w2,⋯,wn)dy2⋯dyn

上式中的积分不是不定积分，积分区域应该是 y 2 y_2 y2 到 y n y_n yn 各自的定义域，不知道怎么表示就在这里提一下

上式右端， k 2 k_2 k2 不依赖于 θ \theta θ ，雅可比行列式 J J J 和积分也不涉及 θ \theta θ 。因此，上式右端的 n − 1 n-1 n−1 重积分仅仅是 y 1 y_1 y1 的函数，表示为 m ( y 1 ) m(y_1) m(y1) 。而且是非负的

那么

f Y 1 ( y 1 ; θ ) = k 1 ( y 1 ; θ ) m ( y 1 ) f_{Y_1}(y_1;\theta)=k_1(y_1;\theta)m(y_1) fY1(y1;θ)=k1(y1;θ)m(y1)

若 m ( y 1 ) = 0 m(y_1)=0 m(y1)=0 ，则 f Y 1 ( y 1 ; θ ) = 0 f_{Y_1}(y_1;\theta)=0 fY1(y1;θ)=0

若 m ( y 1 ) > 0 m(y_1)>0 m(y1)>0 ，则

k 1 $u 1 ( x 1 , x 2 , \dots , x n ) ; θ$ = f Y 1 $u 1 ( x 1 , x 2 , \dots , x n ) ; θ$ m $u 1 ( x 1 , x 2 , \dots , x n )$ k_1 $u_1(x_1,x_2,\\cdots,x_n);\\theta$ =\frac {f_{Y_1} $u_1(x_1,x_2,\\cdots,x_n);\\theta$ } {m $u_1(x_1,x_2,\\cdots,x_n)$ } k1 $u1(x1,x2,\dots,xn);θ$ =m $u1(x1,x2,\dots,xn)$ fY1 $u1(x1,x2,\dots,xn);θ$

将 k 1 k_1 k1 带入因子分解中，得

f ( x 1 , x 2 , ⋯ , x n ; θ ) = f Y 1 $u 1 ( x 1 , x 2 , \dots , x n ) ; θ$ m $u 1 ( x 1 , x 2 , \dots , x n )$ k 2 ( x 1 , x 2 , ⋯ , x n ) f(x_1,x_2,\cdots,x_n;\theta)=\frac {f_{Y_1} $u_1(x_1,x_2,\\cdots,x_n);\\theta$ } {m $u_1(x_1,x_2,\\cdots,x_n)$ }k_2(x_1,x_2,\cdots,x_n) f(x1,x2,⋯,xn;θ)=m $u1(x1,x2,\dots,xn)$ fY1 $u1(x1,x2,\dots,xn);θ$ k2(x1,x2,⋯,xn)

即

f ( x 1 , x 2 , ⋯ , x n ; θ ) f Y 1 $u 1 ( x 1 , x 2 , \dots , x n ) ; θ$ = m $u 1 ( x 1 , x 2 , \dots , x n )$ k 2 ( x 1 , x 2 , ⋯ , x n ) \frac{f(x_1,x_2,\cdots,x_n;\theta)} {f_{Y_1} $u_1(x_1,x_2,\\cdots,x_n);\\theta$ }= \frac{m $u_1(x_1,x_2,\\cdots,x_n)$ }{k_2(x_1,x_2,\cdots,x_n)} fY1 $u1(x1,x2,\dots,xn);θ$ f(x1,x2,⋯,xn;θ)=k2(x1,x2,⋯,xn)m $u1(x1,x2,\dots,xn)$

根据定义， Y 1 Y_1 Y1 是参数 θ \theta θ 的充分统计量

反之，如果 Y 1 Y_1 Y1 是 θ \theta θ 的一个充分统计量，那么通过将函数 k 1 k_1 k1 取成 Y 1 Y_1 Y1 的 p d f pdf pdf ，即可实现因子分解。这就完成了定理证明。

例

设 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X1,X2,⋯,Xn 表示来自分布 N ( θ , σ 2 ) N(\theta,\sigma^2) N(θ,σ2) 的随机样本，方差 σ 2 \sigma^2 σ2 已知

如果 x ‾ = 1 n ∑ x i \overline{x}=\frac{1}{n}\sum x_i x=n1∑xi ，那么

∑ ( x i − θ ) 2 = ∑ $( x i - x ‾ ) - ( x ‾ - θ )$ 2 = ∑ ( x i − x ‾ ) 2 + n ( x ‾ − θ ) 2 \sum(x_i-\theta)^2=\sum $(x_i-\\overline{x})-(\\overline{x}-\\theta)$ ^2= \sum(x_i-\overline{x})^2+n(\overline{x}-\theta)^2 ∑(xi−θ)2=∑ $(xi-x)-(x-θ)$ 2=∑(xi−x)2+n(x−θ)2

因为

2 ∑ ( x i − x ‾ ) ( x ‾ − θ ) = 2 ( x ‾ − θ ) ∑ ( x i − x ‾ ) = 0 2\sum(x_i-\overline{x})(\overline{x}-\theta)= 2(\overline{x}-\theta)\sum(x_i-\overline{x})=0 2∑(xi−x)(x−θ)=2(x−θ)∑(xi−x)=0

所以， X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X1,X2,⋯,Xn 的联合 p d f pdf pdf 就可以写成

( σ 2 π ) − n exp ⁡ $- \sum ( x i - θ ) 2 / 2 σ 2$ = ( σ 2 π ) − n exp ⁡ $- n ( x ‾ - θ ) 2 / 2 σ 2$ exp ⁡ $- \sum ( x i - x ‾ ) 2 / 2 σ 2$ \begin{align*} &(\sigma\sqrt{2\pi})^{-n}\exp\left $-\\sum(x_i-\\theta)\^2/2\\sigma\^2\\right$ \\ &=(\sigma\sqrt{2\pi})^{-n}\exp $-n(\\overline{x}-\\theta)\^2/2\\sigma\^2$ \exp\left $-\\sum(x_i-\\overline{x})\^2/2\\sigma\^2\\right$ \end{align*} (σ2π )−nexp $-\sum(xi-θ)2/2σ2$ =(σ2π )−nexp $-n(x-θ)2/2σ2$ exp $-\sum(xi-x)2/2σ2$

其中

k 1 = exp ⁡ $- n ( x ‾ - θ ) 2 / 2 σ 2$ , k 2 = ( σ 2 π ) − n exp ⁡ $- \sum ( x i - x ‾ ) 2 / 2 σ 2$ k_1=\exp $-n(\\overline{x}-\\theta)\^2/2\\sigma\^2$ , k_2=(\sigma\sqrt{2\pi})^{-n}\exp\left $-\\sum(x_i-\\overline{x})\^2/2\\sigma\^2\\right$ k1=exp $-n(x-θ)2/2σ2$ ,k2=(σ2π )−nexp $-\sum(xi-x)2/2σ2$

所以，样本均值是正态分布的均值的充分统计量