内容来源
应用多元统计分析 北京大学出版社 高惠璇编著
设 X i ∼ N ( μ i , σ 2 ) X_i\sim N(\mu_i,\sigma^2) Xi∼N(μi,σ2)，且相互独立，记
X = [ X 1 ⋮ X p ] X=\left[ \begin{matrix} X_1\\ \vdots\\ X_p \end{matrix} \right] X= X1⋮Xp
则 X ∼ N p ( μ , σ 2 I ) X\sim N_p(\mu,\sigma^2I) X∼Np(μ,σ2I)，其中 μ = ( μ 1 , μ 2 , ⋯ , μ p ) ′ \mu=(\mu_1,\mu_2,\cdots,\mu_p)' μ=(μ1,μ2,⋯,μp)′
结论1
当 μ i = 0 , σ 2 = 1 \mu_i=0,\sigma^2=1 μi=0,σ2=1 时，有
ξ = X ′ X = ∑ i = 1 n X i 2 ∼ χ 2 ( n ) \xi=X'X=\sum^n_{i=1}X^2_i\sim\chi^2(n) ξ=X′X=i=1∑nXi2∼χ2(n)
如果 σ 2 ≠ 1 \sigma^2\ne 1 σ2=1，则
1 σ 2 X ′ X ∼ χ 2 ( n ) \frac{1}{\sigma^2}X'X\sim\chi^2(n) σ21X′X∼χ2(n)
如果 μ i ≠ 0 \mu_i\ne0 μi=0，则 X ′ X X'X X′X 服从非中心 χ 2 \chi^2 χ2 分布
X ′ X ∼ χ 2 ( n , δ ) X'X\sim\chi^2(n,\delta) X′X∼χ2(n,δ)
其中 δ = μ ′ μ = ∑ i = 1 n μ i 2 \delta=\mu'\mu=\sum^n_{i=1}\mu^2_i δ=μ′μ=∑i=1nμi2
结论2
设 X ∼ N p ( 0 , σ 2 I ) X\sim N_p(0,\sigma^2I) X∼Np(0,σ2I)
A A A 为对称矩阵，且 r a n k ( A ) = r rank(A)=r rank(A)=r，则
X ′ A X / σ 2 ∼ χ 2 ( r ) ⟺ A 2 = A X'AX/\sigma^2\sim\chi^2(r)\Longleftrightarrow A^2=A X′AX/σ2∼χ2(r)⟺A2=A
证明
充分性
因为 A A A 是对称矩阵，可对角化
所以存在正交矩阵 Γ \Gamma Γ，使得
Γ ′ A Γ = d i a g ( λ 1 , ⋯ , λ r , 0 , ⋯ , 0 ) \Gamma'A\Gamma=diag(\lambda_1,\cdots,\lambda_r,0,\cdots,0) Γ′AΓ=diag(λ1,⋯,λr,0,⋯,0)
令 Y = Γ ′ X Y=\Gamma'X Y=Γ′X，则
Y ∼ N p ( Γ ′ 0 , Γ ′ σ 2 I Γ ) = N p ( 0 , σ 2 I ) X = Γ Y Y\sim N_p(\Gamma'0,\Gamma'\sigma^2 I\Gamma)=N_p(0,\sigma^2 I)\\ X=\Gamma Y Y∼Np(Γ′0,Γ′σ2IΓ)=Np(0,σ2I)X=ΓY
所以
ξ = X ′ A X / σ 2 = Y ′ Γ ′ A Γ Y / σ 2 = ∑ i = 1 r λ i Y i 2 / σ 2 \xi=X'AX/\sigma^2=Y'\Gamma'A\Gamma Y/\sigma^2= \sum^r_{i=1}\lambda_iY^2_i/\sigma^2 ξ=X′AX/σ2=Y′Γ′AΓY/σ2=i=1∑rλiYi2/σ2
且 Y i Y_i Yi 独立同 N ( 0 , σ 2 ) N(0,\sigma^2) N(0,σ2) 分布
这个条件感觉是通过正交矩阵的性质得出的
所以 Y i 2 / σ 2 ∼ χ 2 ( 1 ) Y^2_i/\sigma^2\sim\chi^2(1) Yi2/σ2∼χ2(1)， ∑ i = 1 r λ i Y i 2 / σ 2 \sum^r_{i=1}\lambda_iY^2_i/\sigma^2 ∑i=1rλiYi2/σ2 的特征函数为
∏ j = 1 r ( 1 − 2 i λ j t ) − 1 / 2 \prod^r_{j=1}(1-2i\lambda_jt)^{-1/2} j=1∏r(1−2iλjt)−1/2
已知 ξ = X ′ A X / σ 2 ∼ χ 2 ( r ) \xi=X'AX/\sigma^2\sim\chi^2(r) ξ=X′AX/σ2∼χ2(r)，其特征函数为
( 1 − 2 i t ) − r / 2 (1-2it)^{-r/2} (1−2it)−r/2
所以 λ i = 1 \lambda_i=1 λi=1，于是
d i a g ( 1 , ⋯ , 1 , 0 , ⋯ , 0 ) = Γ ′ A Γ = Γ ′ A Γ ⋅ Γ ′ A Γ = Γ ′ A 2 Γ diag(1,\cdots,1,0,\cdots,0)=\Gamma'A\Gamma= \Gamma'A\Gamma\cdot\Gamma'A\Gamma=\Gamma'A^2\Gamma diag(1,⋯,1,0,⋯,0)=Γ′AΓ=Γ′AΓ⋅Γ′AΓ=Γ′A2Γ
必要性
因为 A A A 是对称幂等矩阵，所以存在正交矩阵 Γ \Gamma Γ
Γ ′ A Γ = [ I r 0 0 0 ] \Gamma'A\Gamma=\left[ \begin{matrix} I_r&0\\0&0 \end{matrix} \right] Γ′AΓ=[Ir000]
令 Y = Γ ′ X Y=\Gamma'X Y=Γ′X，则
Y ∼ N p ( 0 , σ 2 I ) Y\sim N_p(0,\sigma^2 I) Y∼Np(0,σ2I)
ξ = X ′ A X / σ 2 = Y ′ Γ ′ A Γ Y / σ 2 = 1 σ 2 Y ′ [ I r 0 0 0 ] Y = 1 σ 2 ∑ i = 1 r Y i 2 \xi=X'AX/\sigma^2=Y'\Gamma'A\Gamma Y/\sigma^2= \frac{1}{\sigma^2}Y'\left[ \begin{matrix} I_r&0\\0&0 \end{matrix} \right]Y=\frac{1}{\sigma^2}\sum^r_{i=1}Y^2_i ξ=X′AX/σ2=Y′Γ′AΓY/σ2=σ21Y′[Ir000]Y=σ21i=1∑rYi2
又 Y i Y_i Yi 独立同 N ( 0 , σ 2 ) N(0,\sigma^2) N(0,σ2) 分布，所以
ξ = 1 σ 2 ∑ i = 1 r Y i 2 ∼ χ 2 ( r ) \xi=\frac{1}{\sigma^2}\sum^r_{i=1}Y^2_i\sim\chi^2(r) ξ=σ21i=1∑rYi2∼χ2(r)
结论3
设 X ∼ N p ( μ , σ 2 I ) , A = A 2 X\sim N_p(\mu,\sigma^2I),A=A^2 X∼Np(μ,σ2I),A=A2，则
1 σ 2 X ′ A X ∼ χ 2 ( r , δ ) \frac{1}{\sigma^2}X'AX\sim\chi^2(r,\delta) σ21X′AX∼χ2(r,δ)
其中
δ = 1 σ 2 μ ′ A μ , r = r a n k ( A ) \delta=\frac{1}{\sigma^2}\mu'A\mu,r=rank(A) δ=σ21μ′Aμ,r=rank(A)
结论4
设 X ∼ N p ( μ , σ 2 I ) X\sim N_p(\mu,\sigma^2I) X∼Np(μ,σ2I)
A A A 为 n n n 阶对称矩阵
B B B 为 m × n m\times n m×n 矩阵
ξ = X ′ A X , Z = B X \xi=X'AX,Z=BX ξ=X′AX,Z=BX
若 B A = 0 BA=0 BA=0，则
B X BX BX 和 X ′ A X X'AX X′AX 相互独立
证明
设 r a n k ( A ) = r rank(A)=r rank(A)=r，则存在正定矩阵 Γ \Gamma Γ
Γ ′ A Γ = d i a g ( λ 1 , ⋯ , λ r , 0 , ⋯ , 0 ) = [ D r 0 0 0 ] \Gamma'A\Gamma=diag(\lambda_1,\cdots,\lambda_r,0,\cdots,0)= \left[ \begin{matrix} D_r&0\\0&0 \end{matrix} \right] Γ′AΓ=diag(λ1,⋯,λr,0,⋯,0)=[Dr000]
由 B A = 0 BA=0 BA=0
B A = B Γ [ D r 0 0 0 ] Γ ′ = ( C 1 C 2 ) [ D r 0 0 0 ] Γ ′ = ( C 1 D r 0 ) Γ ′ = 0 BA=B\Gamma \left[ \begin{matrix} D_r&0\\0&0 \end{matrix} \right]\Gamma' =(C_1\ C_2)\left[ \begin{matrix} D_r&0\\0&0 \end{matrix} \right]\Gamma'=(C_1D_r\ 0)\Gamma'=0 BA=BΓ[Dr000]Γ′=(C1 C2)[Dr000]Γ′=(C1Dr 0)Γ′=0
所以 C 1 = 0 C_1=0 C1=0
令 Y = Γ ′ X Y=\Gamma'X Y=Γ′X
X ′ A X = Y ′ Γ ′ A Γ Y = Y ′ [ D r 0 0 0 ] Y = ∑ i = 1 r λ i Y i 2 X'AX=Y'\Gamma'A\Gamma Y=Y'\left[ \begin{matrix} D_r&0\\0&0 \end{matrix} \right]Y=\sum^r_{i=1}\lambda_iY^2_i X′AX=Y′Γ′AΓY=Y′[Dr000]Y=i=1∑rλiYi2
B X = B Γ Y = ( C 1 C 2 ) Y = C 2 [ Y r + 1 ⋮ Y n ] BX=B\Gamma Y=(C_1\ C_2)Y=C_2\left[ \begin{matrix} Y_{r+1}\\ \vdots\\ Y_n \end{matrix} \right] BX=BΓY=(C1 C2)Y=C2 Yr+1⋮Yn
由于 Y 1 , ⋯ , Y r Y_1,\cdots,Y_r Y1,⋯,Yr 与 Y r + 1 , ⋯ , Y n Y_{r+1},\cdots,Y_n Yr+1,⋯,Yn 相互独立，故 X ′ A X X'AX X′AX 与 B X BX BX 相互独立
结论6
设 X ∼ N p ( μ , σ 2 I ) X\sim N_p(\mu,\sigma^2I) X∼Np(μ,σ2I)
A , B A,B A,B 为 n n n 阶对称矩阵
则
A B = 0 ⟺ X ′ A X 与 X ′ B X 相互独立 AB=0\Longleftrightarrow X'AX与X'BX相互独立 AB=0⟺X′AX与X′BX相互独立