【信号检测与估计】第二次作业：克拉美罗界与线性模型的MVU估计

一、克拉美罗界与线性模型的 MVU 估计

观测是随机的，它的分布写成以未知参数 θ\thetaθ 参数化的一族概率密度 p(x;θ)p(\mathbf{x};\theta)p(x;θ)，估计量取

θ^=g(x)(1-1)\hat{\theta}=g(\mathbf{x})\tag{1-1}θ^=g(x)(1-1)

ggg 的自变量只能是观测，里面不能出现 θ\thetaθ。

无偏估计量的方差有一个与估计量本身无关的下界，代价是对分布加一条正则条件：

∂∂θ∫p(x;θ)dx=∫∂p(x;θ)∂θdx(1-2)\dfrac{\partial}{\partial\theta}\int p(\mathbf{x};\theta)\mathrm{d}\mathbf{x}=\int\dfrac{\partial p(\mathbf{x};\theta)}{\partial\theta}\mathrm{d}\mathbf{x}\tag{1-2}∂θ∂∫p(x;θ)dx=∫∂θ∂p(x;θ)dx(1-2)

E∂ln⁡p(x;θ)∂θ=0(1-3)E\left\\dfrac{\\partial\\ln p(\\mathbf{x};\\theta)}{\\partial\\theta}\\right=0\tag{1-3}E∂θ∂lnp(x;θ)=0(1-3)

式（1-2）要求导数能穿过积分号，式（1-3）是它的等价形式，要求得分函数的均值为零。

正则条件成立时，费希尔信息定义为

I(θ)=E(∂ln⁡p(x;θ)∂θ)2=−E∂2ln⁡p(x;θ)∂θ2(1-4)I(\theta)=E\left\\left(\\dfrac{\\partial\\ln p(\\mathbf{x};\\theta)}{\\partial\\theta}\\right)\^{2}\\right=-E\left\\dfrac{\\partial\^{2}\\ln p(\\mathbf{x};\\theta)}{\\partial\\theta\^{2}}\\right\tag{1-4}I(θ)=E(∂θ∂lnp(x;θ))2=−E∂θ2∂2lnp(x;θ)(1-4)

两个等号在正则条件成立时相等，第二个等号把二阶导的期望换成更容易算的形式，本次的几道题都靠它求费希尔信息。方差下界称为克拉美罗界：

var(θ^)≥1I(θ)(1-5)\mathrm{var}(\hat{\theta})\ge\dfrac{1}{I(\theta)}\tag{1-5}var(θ^)≥I(θ)1(1-5)

下界的大小由似然函数的形状决定。同一个观测下，似然函数越陡，参数的取值越集中，估计量能达到的方差越小。

图 1：似然函数形状与估计精度

图源：课程讲义第 1 讲，第 35 页。

式（1-4）里的那个二阶导正是陡峭程度的度量，几何上对应对数似然曲线在真值处的弯曲程度。弯曲程度由该处内切圆的半径的倒数来度量，半径越小，曲率越大，费希尔信息越多。

图 2：对数似然函数的曲率

图源：课程讲义第 1 讲，第 37 页。

得分函数若能整理成

∂ln⁡p(x;θ)∂θ=I(θ)(g(x)−θ)(1-6)\dfrac{\partial\ln p(\mathbf{x};\theta)}{\partial\theta}=I(\theta)\left(g(\mathbf{x})-\theta\right)\tag{1-6}∂θ∂lnp(x;θ)=I(θ)(g(x)−θ)(1-6)

其中 ggg 不含 θ\thetaθ，那么 θ^=g(x)\hat{\theta}=g(\mathbf{x})θ^=g(x) 无偏，且方差取到式（1-5）的下界，称为有效估计量。做题时的判据就落在式（1-6）上：把一阶导写成 I(θ)I(\theta)I(θ) 乘一个只含观测的项与 θ\thetaθ 之差。

参数不止一个时，费希尔信息写成矩阵：

I(θ)ij=−E∂2ln⁡p(x;θ)∂θi∂θj(1-7)I(\\boldsymbol{\\theta})_{ij}=-E\left\\dfrac{\\partial\^{2}\\ln p(\\mathbf{x};\\boldsymbol{\\theta})}{\\partial\\theta_{i}\\partial\\theta_{j}}\\right\tag{1-7}I(θ)ij=−E∂θi∂θj∂2lnp(x;θ)(1-7)

后两道题在如下线性模型里做：观测 x=Hθ+w\mathbf{x}=H\boldsymbol{\theta}+\mathbf{w}x=Hθ+w，HHH 是已知的 N×pN\times pN×p 矩阵且列满秩，噪声 w∼N(0,C)\mathbf{w}\sim N(\mathbf{0},C)w∼N(0,C)。高斯-马尔可夫定理给出

θ^=(HTC−1H)−1HTC−1x(1-8)\hat{\boldsymbol{\theta}}=\left(H^{T}C^{-1}H\right)^{-1}H^{T}C^{-1}\mathbf{x}\tag{1-8}θ^=(HTC−1H)−1HTC−1x(1-8)

Cθ^=(HTC−1H)−1(1-9)C_{\hat{\boldsymbol{\theta}}}=\left(H^{T}C^{-1}H\right)^{-1}\tag{1-9}Cθ^=(HTC−1H)−1(1-9)

这个估计量是无偏的，并且达到该模型下的克拉美罗界。

图 3：一般线性模型的最小方差无偏估计量

图源：课程讲义第 2 讲，第 107 页。

噪声为白噪声时 C=σ2IC=\sigma^{2}IC=σ2I，两式退化为

θ^=(HTH)−1HTx(1-10)\hat{\boldsymbol{\theta}}=\left(H^{T}H\right)^{-1}H^{T}\mathbf{x}\tag{1-10}θ^=(HTH)−1HTx(1-10)

Cθ^=σ2(HTH)−1(1-11)C_{\hat{\boldsymbol{\theta}}}=\sigma^{2}\left(H^{T}H\right)^{-1}\tag{1-11}Cθ^=σ2(HTH)−1(1-11)

二、习题 3.1

题目

xnxnxn 独立同分布，服从 U0,θU0,\\thetaU0,θ。证明正则条件不成立，即得分函数的期望对所有的 θ>0\theta>0θ>0 都不为零，因此克拉美罗界不能用来评价本题 θ\thetaθ 的无偏估计量。

解答

单个样本的密度是

p(xn;θ)=1θ,0≤xn≤θ(2-1)p(xn;\theta)=\dfrac{1}{\theta},\qquad 0\le xn\le\theta\tag{2-1}p(xn;θ)=θ1,0≤xn≤θ(2-1)

样本之间独立，联合密度在支撑集内部是常数：

p(x;θ)=1θN,θ≥max⁡nxn(2-2)p(\mathbf{x};\theta)=\dfrac{1}{\theta^{N}},\qquad \theta\ge\max_{n}xn\tag{2-2}p(x;θ)=θN1,θ≥nmaxxn(2-2)

它作为概率密度，在全空间上的积分恒等于 1，对 θ\thetaθ 求导得零：

∂∂θ∫p(x;θ)dx=0(2-3)\dfrac{\partial}{\partial\theta}\int p(\mathbf{x};\theta)\mathrm{d}\mathbf{x}=0\tag{2-3}∂θ∂∫p(x;θ)dx=0(2-3)

式（1-2）右边那个积分不是零。支撑集内部 ∂p/∂θ\partial p/\partial\theta∂p/∂θ 等于 −N/θN+1-N/\theta^{N+1}−N/θN+1，在支撑集上积分，而支撑集的体积是 θN\theta^{N}θN：

∫∂p(x;θ)∂θdx=−NθN+1⋅θN=−Nθ(2-4)\int\dfrac{\partial p(\mathbf{x};\theta)}{\partial\theta}\mathrm{d}\mathbf{x}=-\dfrac{N}{\theta^{N+1}}\cdot\theta^{N}=-\dfrac{N}{\theta}\tag{2-4}∫∂θ∂p(x;θ)dx=−θN+1N⋅θN=−θN(2-4)

两边相差 −N/θ-N/\theta−N/θ，导数穿过积分号这一步失效。直接算得分函数的期望，结论一样。对数似然在支撑集内是 −Nln⁡θ-N\ln\theta−Nlnθ，它的导数不含观测：

E∂ln⁡p(x;θ)∂θ=E−Nθ=−Nθ(2-5)E\left\\dfrac{\\partial\\ln p(\\mathbf{x};\\theta)}{\\partial\\theta}\\right=E\left-\\dfrac{N}{\\theta}\\right=-\dfrac{N}{\theta}\tag{2-5}E∂θ∂lnp(x;θ)=E−θN=−θN(2-5)

对任意 θ>0\theta>0θ>0 和 N≥1N\ge1N≥1，这个期望都非零，正则条件式（1-3）不成立。支撑集的上端随 θ\thetaθ 移动，是这条性质失效的原因。

三、习题 3.3

题目

观测数据 xn=Arn+wnxn=Ar^{n}+wnxn=Arn+wn，n=0,1,...,N−1n=0,1,\ldots,N-1n=0,1,...,N−1，其中 wnwnwn 是方差为 σ2\sigma^{2}σ2 的高斯白噪声，r>0r>0r>0 是已知的。求 AAA 的克拉美罗界；证明有效估计量存在并求它的方差；对不同的 rrr 值，N→∞N\to\inftyN→∞ 时方差会怎样？

解答

每个样本独立，且 xn∼N(Arn,σ2)xn\sim N(Ar^{n},\sigma^{2})xn∼N(Arn,σ2)，联合密度是

p(x;A)=1(2πσ2)N/2exp⁡−12σ2∑n=0N−1(x\[n−Arn)2](3-1)p(\mathbf{x};A)=\dfrac{1}{(2\pi\sigma^{2})^{N/2}}\exp\left-\\dfrac{1}{2\\sigma\^{2}}\\sum_{n=0}\^{N-1}\\left(x\[n-Ar^{n}\right)^{2}\right]\tag{3-1}p(x;A)=(2πσ2)N/21exp−2σ21n=0∑N−1(x\[n−Arn)2](3-1)

取对数：

ln⁡p(x;A)=−N2ln⁡(2πσ2)−12σ2∑n=0N−1(xn−Arn)2(3-2)\ln p(\mathbf{x};A)=-\dfrac{N}{2}\ln\left(2\pi\sigma^{2}\right)-\dfrac{1}{2\sigma^{2}}\sum_{n=0}^{N-1}\left(xn-Ar^{n}\right)^{2}\tag{3-2}lnp(x;A)=−2Nln(2πσ2)−2σ21n=0∑N−1(xn−Arn)2(3-2)

对 AAA 求一阶导，得到得分函数：

∂ln⁡p(x;A)∂A=1σ2∑n=0N−1(xn−Arn)rn(3-3)\dfrac{\partial\ln p(\mathbf{x};A)}{\partial A}=\dfrac{1}{\sigma^{2}}\sum_{n=0}^{N-1}\left(xn-Ar^{n}\right)r^{n}\tag{3-3}∂A∂lnp(x;A)=σ21n=0∑N−1(xn−Arn)rn(3-3)

再求一次导，导数里不再含观测：

∂2ln⁡p(x;A)∂A2=−1σ2∑n=0N−1r2n(3-4)\dfrac{\partial^{2}\ln p(\mathbf{x};A)}{\partial A^{2}}=-\dfrac{1}{\sigma^{2}}\sum_{n=0}^{N-1}r^{2n}\tag{3-4}∂A2∂2lnp(x;A)=−σ21n=0∑N−1r2n(3-4)

由式（1-4）的第二个等号，费希尔信息直接取负期望：

I(A)=−E∂2ln⁡p(x;A)∂A2=1σ2∑n=0N−1r2n(3-5)I(A)=-E\left\\dfrac{\\partial\^{2}\\ln p(\\mathbf{x};A)}{\\partial A\^{2}}\\right=\dfrac{1}{\sigma^{2}}\sum_{n=0}^{N-1}r^{2n}\tag{3-5}I(A)=−E∂A2∂2lnp(x;A)=σ21n=0∑N−1r2n(3-5)

克拉美罗界为

var(A^)≥σ2∑n=0N−1r2n(3-6)\mathrm{var}(\hat{A})\ge\dfrac{\sigma^{2}}{\sum_{n=0}^{N-1}r^{2n}}\tag{3-6}var(A^)≥∑n=0N−1r2nσ2(3-6)

把几何级数求和写开，r≠1r\ne1r=1 时 ∑n=0N−1r2n\sum_{n=0}^{N-1}r^{2n}∑n=0N−1r2n 等于 (1−r2N)/(1−r2)(1-r^{2N})/(1-r^{2})(1−r2N)/(1−r2)：

var(A^)≥σ2(1−r2)1−r2N,r≠1(3-7)\mathrm{var}(\hat{A})\ge\dfrac{\sigma^{2}\left(1-r^{2}\right)}{1-r^{2N}},\qquad r\ne1\tag{3-7}var(A^)≥1−r2Nσ2(1−r2),r=1(3-7)

r=1r=1r=1 时它退化为 σ2/N\sigma^{2}/Nσ2/N。

求有效估计量，令得分函数为零：

1σ2∑n=0N−1(xn−A^rn)rn=0(3-8)\dfrac{1}{\sigma^{2}}\sum_{n=0}^{N-1}\left(xn-\hat{A}r^{n}\right)r^{n}=0\tag{3-8}σ21n=0∑N−1(xn−A^rn)rn=0(3-8)

A^=∑n=0N−1xnrn∑n=0N−1r2n(3-9)\hat{A}=\dfrac{\sum_{n=0}^{N-1}xnr^{n}}{\sum_{n=0}^{N-1}r^{2n}}\tag{3-9}A^=∑n=0N−1r2n∑n=0N−1xnrn(3-9)

把式（3-9）代回式（3-3），得分函数正好可以整理成式（1-6）的样子：

∂ln⁡p(x;A)∂A=I(A)(A^−A)(3-10)\dfrac{\partial\ln p(\mathbf{x};A)}{\partial A}=I(A)\left(\hat{A}-A\right)\tag{3-10}∂A∂lnp(x;A)=I(A)(A^−A)(3-10)

ggg 就是式（3-9），不含 AAA，所以 A^\hat{A}A^ 是有效估计量，方差取到克拉美罗界。

无偏性由 E(xn)=ArnE(xn)=Ar^{n}E(xn)=Arn 直接得到：

E(A^)=∑n=0N−1Arn⋅rn∑n=0N−1r2n=A(3-11)E(\hat{A})=\dfrac{\sum_{n=0}^{N-1}A r^{n}\cdot r^{n}}{\sum_{n=0}^{N-1}r^{2n}}=A\tag{3-11}E(A^)=∑n=0N−1r2n∑n=0N−1Arn⋅rn=A(3-11)

式（3-9）是观测的线性组合，系数为 rn/∑n=0N−1r2nr^{n}/\sum_{n=0}^{N-1}r^{2n}rn/∑n=0N−1r2n，样本独立，方差按系数平方和相加：

var(A^)=σ2∑n=0N−1r2n(∑n=0N−1r2n)2=σ2∑n=0N−1r2n(3-12)\mathrm{var}(\hat{A})=\dfrac{\sigma^{2}\sum_{n=0}^{N-1}r^{2n}}{\left(\sum_{n=0}^{N-1}r^{2n}\right)^{2}}=\dfrac{\sigma^{2}}{\sum_{n=0}^{N-1}r^{2n}}\tag{3-12}var(A^)=(∑n=0N−1r2n)2σ2∑n=0N−1r2n=∑n=0N−1r2nσ2(3-12)

与式（3-6）一致，有效估计量的方差等于下界，这一点得到核对。

N→∞N\to\inftyN→∞ 时分三种情形。r>1r>1r>1 时 ∑n=0N−1r2n\sum_{n=0}^{N-1}r^{2n}∑n=0N−1r2n 发散，方差趋于零。r=1r=1r=1 时求和等于 NNN，方差是 σ2/N\sigma^{2}/Nσ2/N，同样趋于零。r<1r<1r<1 时求和收敛到 1/(1−r2)1/(1-r^{2})1/(1−r2)：

var(A^)→σ2(1−r2)>0(3-13)\mathrm{var}(\hat{A})\to\sigma^{2}\left(1-r^{2}\right)>0\tag{3-13}var(A^)→σ2(1−r2)>0(3-13)

信号按 rnr^{n}rn 衰减，越靠后的样本幅度越小，新增样本带进来的信息趋于零，方差停在一个正数上。

四、习题 3.5

题目

观测数据 xn=A+wnxn=A+wnxn=A+wn，n=0,1,...,N−1n=0,1,\ldots,N-1n=0,1,...,N−1，其中 w∼N(0,C)\mathbf{w}\sim N(\mathbf{0},C)w∼N(0,C)，w=w\[0,...,wN−1]T\mathbf{w}=w\[0,\ldots,wN-1]^{T}w=w\[0,...,wN−1]T。求 AAA 的克拉美罗界。有效估计量存在吗？如果存在，求它的方差。

解答

把观测写成向量形式 x=A1+w\mathbf{x}=A\mathbf{1}+\mathbf{w}x=A1+w，其中 1\mathbf{1}1 是全是 1 的 N×1N\times1N×1 向量。对数似然为

ln⁡p(x;A)=−N2ln⁡(2π)−12ln⁡∣C∣−12(x−A1)TC−1(x−A1)(4-1)\ln p(\mathbf{x};A)=-\dfrac{N}{2}\ln(2\pi)-\dfrac{1}{2}\ln|C|-\dfrac{1}{2}\left(\mathbf{x}-A\mathbf{1}\right)^{T}C^{-1}\left(\mathbf{x}-A\mathbf{1}\right)\tag{4-1}lnp(x;A)=−2Nln(2π)−21ln∣C∣−21(x−A1)TC−1(x−A1)(4-1)

中间那个二次型对 AAA 的导数用矩阵求导公式得到：

∂∂A(x−A1)TC−1(x−A1)=−21TC−1(x−A1)(4-2)\dfrac{\partial}{\partial A}\left(\mathbf{x}-A\mathbf{1}\right)^{T}C^{-1}\left(\mathbf{x}-A\mathbf{1}\right)=-2\mathbf{1}^{T}C^{-1}\left(\mathbf{x}-A\mathbf{1}\right)\tag{4-2}∂A∂(x−A1)TC−1(x−A1)=−21TC−1(x−A1)(4-2)

于是得分函数是

∂ln⁡p(x;A)∂A=1TC−1(x−A1)(4-3)\dfrac{\partial\ln p(\mathbf{x};A)}{\partial A}=\mathbf{1}^{T}C^{-1}\left(\mathbf{x}-A\mathbf{1}\right)\tag{4-3}∂A∂lnp(x;A)=1TC−1(x−A1)(4-3)

再求一次导，观测量从表达式中消失：

∂2ln⁡p(x;A)∂A2=−1TC−11(4-4)\dfrac{\partial^{2}\ln p(\mathbf{x};A)}{\partial A^{2}}=-\mathbf{1}^{T}C^{-1}\mathbf{1}\tag{4-4}∂A2∂2lnp(x;A)=−1TC−11(4-4)

I(A)=1TC−11(4-5)I(A)=\mathbf{1}^{T}C^{-1}\mathbf{1}\tag{4-5}I(A)=1TC−11(4-5)

var(A^)≥11TC−11(4-6)\mathrm{var}(\hat{A})\ge\dfrac{1}{\mathbf{1}^{T}C^{-1}\mathbf{1}}\tag{4-6}var(A^)≥1TC−111(4-6)

令式（4-3）为零，解出估计量：

1TC−1x=A^1TC−11(4-7)\mathbf{1}^{T}C^{-1}\mathbf{x}=\hat{A}\mathbf{1}^{T}C^{-1}\mathbf{1}\tag{4-7}1TC−1x=A^1TC−11(4-7)

A^=1TC−1x1TC−11(4-8)\hat{A}=\dfrac{\mathbf{1}^{T}C^{-1}\mathbf{x}}{\mathbf{1}^{T}C^{-1}\mathbf{1}}\tag{4-8}A^=1TC−111TC−1x(4-8)

它是一个加权平均，权重由 C−1C^{-1}C−1 给出。期望为

E(A^)=1TC−1E(x)1TC−11=A1TC−111TC−11=A(4-9)E(\hat{A})=\dfrac{\mathbf{1}^{T}C^{-1}E(\mathbf{x})}{\mathbf{1}^{T}C^{-1}\mathbf{1}}=\dfrac{A\mathbf{1}^{T}C^{-1}\mathbf{1}}{\mathbf{1}^{T}C^{-1}\mathbf{1}}=A\tag{4-9}E(A^)=1TC−111TC−1E(x)=1TC−11A1TC−11=A(4-9)

所以它是无偏的。CCC 对称，分子里出现 C−1CC−1C^{-1}CC^{-1}C−1CC−1：

var(A^)=1TC−1CC−11(1TC−11)2=11TC−11(4-10)\mathrm{var}(\hat{A})=\dfrac{\mathbf{1}^{T}C^{-1}CC^{-1}\mathbf{1}}{\left(\mathbf{1}^{T}C^{-1}\mathbf{1}\right)^{2}}=\dfrac{1}{\mathbf{1}^{T}C^{-1}\mathbf{1}}\tag{4-10}var(A^)=(1TC−11)21TC−1CC−11=1TC−111(4-10)

它与式（4-6）相同，说明方差取到了下界。把式（4-3）写成 1TC−11\mathbf{1}^{T}C^{-1}\mathbf{1}1TC−11 乘 A^\hat{A}A^ 与 AAA 之差，正好是式（1-6）的形式，因此有效估计量存在，就是式（4-8），方差为 1/(1TC−11)1/(\mathbf{1}^{T}C^{-1}\mathbf{1})1/(1TC−11)。

五、习题 3.9

题目

在相关高斯噪声中观测 DC 电平的两个样本：x0=A+w0x0=A+w0x0=A+w0，x1=A+w1x1=A+w1x1=A+w1。w=w\[0,w1]T\mathbf{w}=w\[0,w1]^{T}w=w\[0,w1]T 是零均值的，协方差矩阵为

C=σ21ρρ1(5-1)C=\sigma^{2}\begin{bmatrix}1 & \rho \cr \rho & 1\end{bmatrix}\tag{5-1}C=σ21ρρ1(5-1)

ρ\rhoρ 是 w0w0w0 与 w1w1w1 之间的相关系数。计算 AAA 的克拉美罗界，并与 wnwnwn 为高斯白噪声的情形比较；解释 ρ→±1\rho\to\pm1ρ→±1 时会发生什么；解释费希尔信息对非独立观测的叠加性质。

解答

先求协方差矩阵的逆。行列式是 σ4(1−ρ2)\sigma^{4}(1-\rho^{2})σ4(1−ρ2)，伴随矩阵提出公因子后得到

C−1=1σ2(1−ρ2)1−ρ−ρ1(5-2)C^{-1}=\dfrac{1}{\sigma^{2}\left(1-\rho^{2}\right)}\begin{bmatrix}1 & -\rho \cr -\rho & 1\end{bmatrix}\tag{5-2}C−1=σ2(1−ρ2)11−ρ−ρ1(5-2)

观测对参数的导数矩阵 H=∂x/∂A=1,1TH=\partial\mathbf{x}/\partial A=1,1^{T}H=∂x/∂A=1,1T，费希尔信息为

I(A)=HTC−1H=1σ2(1−ρ2)111−ρ−ρ111(5-3)I(A)=H^{T}C^{-1}H=\dfrac{1}{\sigma^{2}\left(1-\rho^{2}\right)}\begin{bmatrix}1 & 1\end{bmatrix}\begin{bmatrix}1 & -\rho \cr -\rho & 1\end{bmatrix}\begin{bmatrix}1 \cr 1\end{bmatrix}\tag{5-3}I(A)=HTC−1H=σ2(1−ρ2)1111−ρ−ρ111(5-3)

把三个矩阵乘开，中间结果是 1−ρ, 1−ρ1-\\rho,\\ 1-\\rho1−ρ, 1−ρ，再与右边的列向量相乘得 2(1−ρ)2(1-\rho)2(1−ρ)：

I(A)=2(1−ρ)σ2(1−ρ2)=2σ2(1+ρ)(5-4)I(A)=\dfrac{2(1-\rho)}{\sigma^{2}\left(1-\rho^{2}\right)}=\dfrac{2}{\sigma^{2}(1+\rho)}\tag{5-4}I(A)=σ2(1−ρ2)2(1−ρ)=σ2(1+ρ)2(5-4)

var(A^)≥σ2(1+ρ)2(5-5)\mathrm{var}(\hat{A})\ge\dfrac{\sigma^{2}(1+\rho)}{2}\tag{5-5}var(A^)≥2σ2(1+ρ)(5-5)

ρ=0\rho=0ρ=0 时下界是 σ2/2\sigma^{2}/2σ2/2，这与 N=2N=2N=2 的高斯白噪声情形 σ2/N\sigma^{2}/Nσ2/N 相同。ρ>0\rho>0ρ>0 时下界变大，估计精度变差；ρ<0\rho<0ρ<0 时下界变小，精度变好。ρ→1\rho\to1ρ→1 时两个样本的噪声完全正相关，等效只有一个独立样本，下界趋于 σ2\sigma^{2}σ2；ρ→−1\rho\to-1ρ→−1 时噪声完全负相关，两个样本相加时噪声相消，下界趋于零。

这个模型里的有效估计量是样本均值。权重向量 C−11C^{-1}\mathbf{1}C−11 的两个分量相等：

A^=1TC−1x1TC−11=x0+x12(5-6)\hat{A}=\dfrac{\mathbf{1}^{T}C^{-1}\mathbf{x}}{\mathbf{1}^{T}C^{-1}\mathbf{1}}=\dfrac{x0+x1}{2}\tag{5-6}A^=1TC−111TC−1x=2x0+x1(5-6)

它的方差为

var(A^)=2σ2(1+ρ)4=σ2(1+ρ)2(5-7)\mathrm{var}(\hat{A})=\dfrac{2\sigma^{2}(1+\rho)}{4}=\dfrac{\sigma^{2}(1+\rho)}{2}\tag{5-7}var(A^)=42σ2(1+ρ)=2σ2(1+ρ)(5-7)

与式（5-5）相同。噪声虽然相关，样本均值仍然取到克拉美罗界。

费希尔信息对独立观测可以叠加。各次观测的得分互不相关，信息相加：

Itotal(A)=∑iIi(A)(5-8)I_{\mathrm{total}}(A)=\sum_{i}I_{i}(A)\tag{5-8}Itotal(A)=i∑Ii(A)(5-8)

本题的两部观测若互相独立，各贡献 1/σ21/\sigma^{2}1/σ2，合计 2/σ22/\sigma^{2}2/σ2，对应下界 σ2/2\sigma^{2}/2σ2/2。相关性把得分之间的协方差引了进来，叠加性不再成立，非独立情形要按式（5-4）计算：

Itotal(A)=2σ2(1+ρ)(5-9)I_{\mathrm{total}}(A)=\dfrac{2}{\sigma^{2}(1+\rho)}\tag{5-9}Itotal(A)=σ2(1+ρ)2(5-9)

只有 ρ=0\rho=0ρ=0 时式（5-9）才回到相加的形式，其余情况下相关性会低估或高估信息量。

六、习题 4.1

题目

估计噪声中指数信号的幅度，观测数据为 xn=∑i=1pAirin+wnxn=\sum_{i=1}^{p}A_{i}r_{i}^{n}+wnxn=∑i=1pAirin+wn，n=0,1,...,N−1n=0,1,\ldots,N-1n=0,1,...,N−1，其中 wnwnwn 是方差为 σ2\sigma^{2}σ2 的高斯白噪声。求幅度参量的最小方差无偏估计量及其协方差，并针对 p=2p=2p=2、r1=1r_{1}=1r1=1、r2=−1r_{2}=-1r2=−1 且 NNN 为偶数的情形算出结果。

解答

观测数据写成线性模型：

x=HA+w(6-1)\mathbf{x}=H\mathbf{A}+\mathbf{w}\tag{6-1}x=HA+w(6-1)

其中

x=x\[0x1⋯xN−1]T(6-2)\mathbf{x}=\begin{bmatrix}x0 & x1 & \cdots & xN-1\end{bmatrix}^{T}\tag{6-2}x=x\[0x1⋯xN−1]T(6-2)

A=A1A2⋯ApT(6-3)\mathbf{A}=\begin{bmatrix}A_{1} & A_{2} & \cdots & A_{p}\end{bmatrix}^{T}\tag{6-3}A=A1A2⋯ApT(6-3)

w=w\[0w1⋯wN−1]T(6-4)\mathbf{w}=\begin{bmatrix}w0 & w1 & \cdots & wN-1\end{bmatrix}^{T}\tag{6-4}w=w\[0w1⋯wN−1]T(6-4)

噪声协方差矩阵为 Cw=σ2INC_{w}=\sigma^{2}I_{N}Cw=σ2IN，观测矩阵是范德蒙矩阵：

H=11⋯1r1r2⋯rpr12r22⋯rp2⋮⋮⋱⋮r1N−1r2N−1⋯rpN−1(6-5)H=\begin{bmatrix}1 & 1 & \cdots & 1 \cr r_{1} & r_{2} & \cdots & r_{p} \cr r_{1}^{2} & r_{2}^{2} & \cdots & r_{p}^{2} \cr \vdots & \vdots & \ddots & \vdots \cr r_{1}^{N-1} & r_{2}^{N-1} & \cdots & r_{p}^{N-1}\end{bmatrix}\tag{6-5}H= 1r1r12⋮r1N−11r2r22⋮r2N−1⋯⋯⋯⋱⋯1rprp2⋮rpN−1 (6-5)

由式（1-10）与式（1-11），最小方差无偏估计量及其协方差为

A^=(HTH)−1HTx(6-6)\hat{\mathbf{A}}=\left(H^{T}H\right)^{-1}H^{T}\mathbf{x}\tag{6-6}A^=(HTH)−1HTx(6-6)

CA^=σ2(HTH)−1(6-7)C_{\hat{\mathbf{A}}}=\sigma^{2}\left(H^{T}H\right)^{-1}\tag{6-7}CA^=σ2(HTH)−1(6-7)

取 p=2p=2p=2，r1=1r_{1}=1r1=1，r2=−1r_{2}=-1r2=−1，并且 NNN 为偶数：

H=111−111⋮⋮1−1(6-8)H=\begin{bmatrix}1 & 1 \cr 1 & -1 \cr 1 & 1 \cr \vdots & \vdots \cr 1 & -1\end{bmatrix}\tag{6-8}H= 111⋮11−11⋮−1 (6-8)

两列逐项相乘再求和，对角元是每列自己的平方和，都等于 NNN；非对角元是 1 与 (−1)n(-1)^{n}(−1)n 逐项相乘的求和：

HTH=N∑n=0N−1(−1)n∑n=0N−1(−1)nN=N00N(6-9)H^{T}H=\begin{bmatrix}N & \sum_{n=0}^{N-1}(-1)^{n} \cr \sum_{n=0}^{N-1}(-1)^{n} & N\end{bmatrix}=\begin{bmatrix}N & 0 \cr 0 & N\end{bmatrix}\tag{6-9}HTH=N∑n=0N−1(−1)n∑n=0N−1(−1)nN=N00N(6-9)

NNN 为偶数时，正负一交替出现的序列求和为零，第一行第二列的耦合消失了。于是

(HTH)−1=1NI(6-10)\left(H^{T}H\right)^{-1}=\dfrac{1}{N}I\tag{6-10}(HTH)−1=N1I(6-10)

A^=1NHTx=1N∑n=0N−1x\[n∑n=0N−1(−1)nxn](6-11)\hat{\mathbf{A}}=\dfrac{1}{N}H^{T}\mathbf{x}=\dfrac{1}{N}\begin{bmatrix}\sum_{n=0}^{N-1}xn \cr \sum_{n=0}^{N-1}(-1)^{n}xn\end{bmatrix}\tag{6-11}A^=N1HTx=N1∑n=0N−1x\[n∑n=0N−1(−1)nxn](6-11)

CA^=σ2NI(6-12)C_{\hat{\mathbf{A}}}=\dfrac{\sigma^{2}}{N}I\tag{6-12}CA^=Nσ2I(6-12)

两个分量互不相关，方差都是 σ2/N\sigma^{2}/Nσ2/N。A^1\hat{A}{1}A^1 是样本均值，估计 r1=1r{1}=1r1=1 对应的直流分量；A^2\hat{A}{2}A^2 把偶数号样本取正、奇数号样本取负再平均，估计 r2=−1r{2}=-1r2=−1 对应的交替分量。NNN 为偶数时这两个分量正交，参数之间没有耦合，每个幅度的估计精度与白噪声中估计直流电平一样。

七、习题 4.12

题目

研究参数 θ\boldsymbol{\theta}θ 的线性估计时，设新参数 α=Aθ\boldsymbol{\alpha}=A\boldsymbol{\theta}α=Aθ，其中 AAA 是已知的 r×pr\times pr×p 矩阵，r<pr<pr<p 且秩为 rrr（行满秩）。证明 α\boldsymbol{\alpha}α 的最小方差无偏估计量为 Aθ^A\hat{\boldsymbol{\theta}}Aθ^，其中 θ^\hat{\boldsymbol{\theta}}θ^ 是 θ\boldsymbol{\theta}θ 的 MVU 估计量，并求它的协方差矩阵。提示：把观测换成 x′=A(HTH)−1HTx\mathbf{x}'=A(H^{T}H)^{-1}H^{T}\mathbf{x}x′=A(HTH)−1HTx，它是 r×1r\times1r×1 的，构成一个降维线性模型；x′\mathbf{x}'x′ 含有关于 θ\boldsymbol{\theta}θ 的全部信息，可以据此构造估计量。

解答

原模型是线性模型 x=Hθ+w\mathbf{x}=H\boldsymbol{\theta}+\mathbf{w}x=Hθ+w，噪声协方差 Cw=σ2INC_{w}=\sigma^{2}I_{N}Cw=σ2IN。由式（1-10）与式（1-11）：

θ^=(HTH)−1HTx(7-1)\hat{\boldsymbol{\theta}}=\left(H^{T}H\right)^{-1}H^{T}\mathbf{x}\tag{7-1}θ^=(HTH)−1HTx(7-1)

Cθ^=σ2(HTH)−1(7-2)C_{\hat{\boldsymbol{\theta}}}=\sigma^{2}\left(H^{T}H\right)^{-1}\tag{7-2}Cθ^=σ2(HTH)−1(7-2)

按提示构造新的观测向量：

x′=A(HTH)−1HTx=Aθ^(7-3)\mathbf{x}'=A\left(H^{T}H\right)^{-1}H^{T}\mathbf{x}=A\hat{\boldsymbol{\theta}}\tag{7-3}x′=A(HTH)−1HTx=Aθ^(7-3)

它的期望为

E(x′)=A(HTH)−1HTHθ=Aθ=α(7-4)E(\mathbf{x}')=A\left(H^{T}H\right)^{-1}H^{T}H\boldsymbol{\theta}=A\boldsymbol{\theta}=\boldsymbol{\alpha}\tag{7-4}E(x′)=A(HTH)−1HTHθ=Aθ=α(7-4)

所以 x′\mathbf{x}'x′ 是 α\boldsymbol{\alpha}α 的一个线性无偏估计量。

它就是 α\boldsymbol{\alpha}α 的最小方差无偏估计量。一条理由来自线性变换的性质：θ^\hat{\boldsymbol{\theta}}θ^ 是 θ\boldsymbol{\theta}θ 的充分统计量，对观测作线性变换不损失信息；按高斯-马尔可夫定理，参数的任何线性变换，其 MVU 估计量等于原参数 MVU 估计量的同一线性变换。另一条理由来自降维模型本身：x′\mathbf{x}'x′ 的协方差是 σ2A(HTH)−1AT\sigma^{2}A(H^{T}H)^{-1}A^{T}σ2A(HTH)−1AT，AAA 行满秩使它是 r×rr\times rr×r 的正定矩阵，而 x′\mathbf{x}'x′ 本身满足一个观测矩阵为单位阵、参数为 α\boldsymbol{\alpha}α 的线性模型，按式（1-9）它的估计量的协方差同样是 σ2A(HTH)−1AT\sigma^{2}A(H^{T}H)^{-1}A^{T}σ2A(HTH)−1AT，说明 x′\mathbf{x}'x′ 取到了这个模型的克拉美罗界。

α\boldsymbol{\alpha}α 的估计量的协方差由 θ^\hat{\boldsymbol{\theta}}θ^ 的协方差作同一线性变换得到：

Cα^=Acov(θ^)AT=σ2A(HTH)−1AT(7-5)C_{\hat{\boldsymbol{\alpha}}}=A\mathrm{cov}(\hat{\boldsymbol{\theta}})A^{T}=\sigma^{2}A\left(H^{T}H\right)^{-1}A^{T}\tag{7-5}Cα^=Acov(θ^)AT=σ2A(HTH)−1AT(7-5)

它与式（7-3）中 x′\mathbf{x}'x′ 的协方差相同。