09-随机变量的数字特征

随机变量的数字特征

一、数学期望

1.1 期望的概念

定义设离散型随机变量 XXX 的分布律为

P{X=xk}=pk,k=1,2,⋯ . P\{X = x_k\} = p_k, \quad k = 1, 2, \cdots. P{X=xk}=pk,k=1,2,⋯.

若级数 ∑k=1∞xkpk\displaystyle \sum_{k=1}^\infty x_k p_kk=1∑∞xkpk 绝对收敛，则称级数

∑k=1∞xkpk \sum_{k=1}^\infty x_k p_k k=1∑∞xkpk

的和为随机变量 XXX 的数学期望，记为 E(X)E(X)E(X)。即

E(X)=∑k=1∞xkpk E(X) = \sum_{k=1}^\infty x_k p_k E(X)=k=1∑∞xkpk

设连续型随机变量 XXX 的概率密度为 f(x)f(x)f(x)，若积分

∫−∞∞xf(x) dx \int_{-\infty}^\infty x f(x) \, dx ∫−∞∞xf(x)dx

绝对收敛，则称积分∫−∞∞xf(x) dx\displaystyle \int_{-\infty}^\infty x f(x) \, dx∫−∞∞xf(x)dx的值为随机变量 XXX 的数学期望，记为 E(X)E(X)E(X)。即

E(X)=∫−∞∞xf(x) dx E(X) = \int_{-\infty}^\infty x f(x) \, dx E(X)=∫−∞∞xf(x)dx

数学期望简称期望，又称为均值。

数学期望 E(X)E(X)E(X) 完全由随机变量 XXX 的概率分布所确定。若 XXX 服从某一分布，也称 E(X)E(X)E(X) 是这一分布的数学期望。

期望像是随机试验在同样的机会下重复多次，所有那些可能状态平均的结果，便基本上等同"期望"所期望的数。期望可能与每一个结果都不相等。换句话说，期望是该变量输出值的加权平均。

具有有限个结果的随机变量的期望值是所有可能结果的加权平均值。在可能结果为连续的情况下，期望值通过积分来定义。在由测度理论提供的概率公理化基础上，期望值由勒贝格积分给出。

1.2 期望的性质

设 YYY 是随机变量 XXX 的函数：Y=g(X)Y = g(X)Y=g(X)（ggg 是连续函数）。
- 如果 XXX 是离散型随机变量，它的分布律为 P{X=xk}=pk,k=1,2,...P\{X = x_k\} = p_k, k = 1, 2, \dotsP{X=xk}=pk,k=1,2,...，若
∑k=1∞g(xk)pk \sum_{k=1}^\infty g(x_k)p_k k=1∑∞g(xk)pk

绝对收敛，则有

E(Y)=E $g(X)$ =∑k=1∞g(xk)pk E(Y) = E $g(X)$ = \sum_{k=1}^\infty g(x_k)p_k E(Y)=E $g(X)$ =k=1∑∞g(xk)pk
- 如果 XXX 是连续型随机变量，它的概率密度为 f(x)f(x)f(x)，若
∫−∞∞g(x)f(x)dx \int_{-\infty}^\infty g(x)f(x)dx ∫−∞∞g(x)f(x)dx

绝对收敛，则有

E(Y)=E $g(X)$ =∫−∞∞g(x)f(x)dx E(Y) = E $g(X)$ = \int_{-\infty}^\infty g(x)f(x)dx E(Y)=E $g(X)$ =∫−∞∞g(x)f(x)dx

此性质表明求 E(Y)E(Y)E(Y) 时，不必算出 YYY 的分布律或概率密度，而只需利用 XXX 的分布律或概率密度就可以了
对任意常数aia_iai和随机变量Xi (i=1,2,⋯ ,n)X_i \, (i = 1,2,\cdots,n)Xi(i=1,2,⋯,n),有

E(∑i=1naiXi)=∑i=1nai⋅E(Xi) E(\sum_{i=1}^{n} a_iX_i) = \sum_{i=1}^{n} a_i\cdot E(X_i) E(i=1∑naiXi)=i=1∑nai⋅E(Xi)

特别地，E(C)=CE(C) = CE(C)=C, E(aX+c)=aE(X)+cE(aX+c) = aE(X) + cE(aX+c)=aE(X)+c, E(X±Y)=E(X)±E(Y)E(X \pm Y) = E(X) \pm E(Y)E(X±Y)=E(X)±E(Y)
设 XXX ,YYY 是相互独立的随机变量则，则有

E(XY)=E(X)⋅E(Y)E $g1(X)\cdotg2(Y)$ =E $g1(X)$ ⋅E $g2(Y)$ E(XY) = E(X) \cdot E(Y) \\ \\ E $g_1(X) \\cdot g_2(Y)$ = E $g_1(X)$ \cdot E $g_2(Y)$ E(XY)=E(X)⋅E(Y)E $g1(X)\cdotg2(Y)$ =E $g1(X)$ ⋅E $g2(Y)$

此性质可用推广到任意有限个相互独立的随机变量之积的情况

二、方差

2.1 方差的概念

定义设 XXX 是一个随机变量，若 E{ $X-E(X)$ 2}E\{ $X - E(X)$ ^2\}E{ $X-E(X)$ 2} 存在，则称 E{ $X-E(X)$ 2}E\{ $X - E(X)$ ^2\}E{ $X-E(X)$ 2} 为 XXX 的方差，记为 D(X)D(X)D(X) 或 Var(X)\text{Var}(X)Var(X)，即

D(X)=Var(X)=E{ $X-E(X)$ 2}=E(X2)− $E(X)$ 2 D(X) = \text{Var}(X) = E\{ $X - E(X)$ ^2\} = E(X^2) - $E(X)$ ^2 D(X)=Var(X)=E{ $X-E(X)$ 2}=E(X2)− $E(X)$ 2

在应用上还引入量 D(X)\sqrt{D(X)}D(X) ，记为 σ(X)\sigma(X)σ(X)，称为标准差或均方差。

随机变量 XXX 的方差表达了 XXX 的取值与其数学期望的偏离程度。若 D(X)D(X)D(X) 较小意味着 XXX 的取值比较集中在 E(X)E(X)E(X) 的附近，反之，若 D(X)D(X)D(X) 较大则表示 XXX 的取值较分散。因此，D(X)D(X)D(X) 是刻画 XXX 取值分散程度的一个量，它是衡量 XXX 取值分散程度的一个尺度。

由定义知，方差实际上就是随机变量 XXX 的函数 g(X)=(X−E(X))2g(X) = (X - E(X))^2g(X)=(X−E(X))2 的数学期望。于是

对于离散型随机变量，有

D(X)=∑k=1∞ $xk-E(X)$ 2pk D(X) = \sum_{k=1}^\infty $x_k - E(X)$ ^2 p_k D(X)=k=1∑∞ $xk-E(X)$ 2pk

其中 P{X=xk}=pk,k=1,2,⋯P\{X = x_k\} = p_k, k = 1, 2, \cdotsP{X=xk}=pk,k=1,2,⋯ 是 XXX 的分布律。

对于连续型随机变量，有

D(X)=∫−∞∞ $x-E(X)$ 2f(x) dx D(X) = \int_{-\infty}^\infty $x - E(X)$ ^2 f(x) \, dx D(X)=∫−∞∞ $x-E(X)$ 2f(x)dx

其中 f(x)f(x)f(x) 是 XXX 的概率密度。随机变量 XXX 的方差可按下列公式计算。

2.2 方差的性质

1.D(X)≥0D(X) \ge 0D(X)≥0

2.E(X2)=D(X)+ $E(X)$ 2≥ $E(x)$ 2E(X^2) = D(X) + $E(X)$ ^2 \ge $E(x)$ ^2E(X2)=D(X)+ $E(X)$ 2≥ $E(x)$ 2

3.D(C)=0D(C) = 0D(C)=0

4.D(aX+b)=a2D(X)D(aX + b) = a^2D(X)D(aX+b)=a2D(X)

D(aX+b)=E{ $(aX+b)-(aE(X)+b)$ 2}=E{ $(aX-aE(X)$ 2=a2D(X)D(aX + b) = E\{ $(aX + b) - (aE(X) + b)$ ^2\} = E\{ $(aX - aE(X)$ ^2 = a^2D(X)D(aX+b)=E{ $(aX+b)-(aE(X)+b)$ 2}=E{ $(aX-aE(X)$ 2=a2D(X)

5.D(X±Y)=D(X)+D(Y)±2Cov⁡(X,Y)D(X \pm Y) = D(X) + D(Y) \pm 2 \operatorname{Cov}(X,Y)D(X±Y)=D(X)+D(Y)±2Cov(X,Y)

Cov⁡(X,Y)=E{(X−E(X))(Y−E(Y))}=E(XY)−E(X)E(Y)\operatorname{Cov}(X,Y) = E\{(X - E(X) )(Y - E(Y) ) \} = E(XY) - E(X)E(Y)Cov(X,Y)=E{(X−E(X))(Y−E(Y))}=E(XY)−E(X)E(Y)

6.若随机变量XXX与YYY相互独立,则

D(aX+bY)=a2D(X)+b2D(Y) D(aX + bY) = a^2D(X) + b^2D(Y) D(aX+bY)=a2D(X)+b2D(Y)

一般地，若随机变量X1,X2,⋯ ,XnX_1,X_2,\cdots,X_nX1,X2,⋯,Xn相互独立， gi(x)g_i(x)gi(x)为连续函数，则

D $\sumi=1ngi(Xi)$ =∑i=1nD $gi(Xi)$ D $\\sum_{i=1}\^ng_i(X_i)$ = \sum_{i=1}^nD $g_i(X_i)$ D $i=1\sumngi(Xi)$ =i=1∑nD $gi(Xi)$

7.方差为0的充要条件是随机变量XXX以概率 1 取常数E(X)E(X)E(X),即

P{X=E(X)}=1 P\{ X = E(X) \} = 1 P{X=E(X)}=1

D(X)≤E $(X-C)2$ D(X) \le E $(X - C)\^2$ D(X)≤E $(X-C)2$ , CCC为常数
设随机变量XXX具有数学期望E(X)=μE(X) = \muE(X)=μ, 方差D(X)=σ2D(X) = \sigma^2D(X)=σ2,则称随机变量X∗=X−μσ\displaystyle X^* = \frac{X - \mu}{\sigma}X∗=σX−μ 为随机变量XXX的标准化随机变量,且E(X∗)=0E(X^*) = 0E(X∗)=0, D(X∗)=1D(X^*) = 1D(X∗)=1

2.3 切比雪夫不等式

定理设随机变量 XXX 具有数学期望 E(X)=μE(X) = \muE(X)=μ，方差 D(X)=σ2D(X) = \sigma^2D(X)=σ2，则对于任意正数 ε\varepsilonε，不等式

P{∣X−μ∣≥ε}≤σ2ε2 P\{|X - \mu| \geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2

成立。

三、协方差与相关系数

3.1 协方差与相关系数的概念

定义若随机变量XXX 与 YYY 的方差都存在且D(X)>0,D(Y)>0D(X) \gt 0 ,D(Y) \gt 0D(X)>0,D(Y)>0, 则称 E{ $X-E(X)$ $Y-E(Y)$ }E\{ $X - E(X)$ $Y - E(Y)$ \}E{ $X-E(X)$ $Y-E(Y)$ } 称为随机变量 XXX 与 YYY 的协方差。记为 Cov(X,Y)\text{Cov}(X, Y)Cov(X,Y)，即

Cov(X,Y)=E{ $X-E(X)$ $Y-E(Y)$ }=E(XY)−E(X)⋅E(Y) \text{Cov}(X, Y) = E\{ $X - E(X)$ $Y - E(Y)$ \} = E(XY) - E(X)\cdot E(Y) Cov(X,Y)=E{ $X-E(X)$ $Y-E(Y)$ }=E(XY)−E(X)⋅E(Y)

其中

E(XY)={∑i∑jxiyjpij ,(X,Y均为离散型随机变量)∫−∞+∞∫−∞+∞xyf(x,y)dxdy ,(X,Y均为连续型随机变量) E(XY) = \begin{cases} \sum_i \sum_j x_iy_jp_{ij} \;, \text{(X,Y均为离散型随机变量)} \\ \\ \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xyf(x,y) dxdy \;, \text{(X,Y均为连续型随机变量)} \end{cases} E(XY)=⎩ ⎨ ⎧∑i∑jxiyjpij,(X,Y均为离散型随机变量)∫−∞+∞∫−∞+∞xyf(x,y)dxdy,(X,Y均为连续型随机变量)

而 ρXY=Cov(X,Y)D(X)D(Y) \rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{D(X)} \sqrt{D(Y)}} ρXY=D(X) D(Y) Cov(X,Y) 称为随机变量 XXX 与 YYY 的相关系数。

若 ρXY=0\rho_{XY} = 0ρXY=0，则称随机变量 XXX 与 YYY 不相关，反之则称随机变量 XXX 与 YYY 相关。

3.2 协方差与相关系数的性质

1.Cov(X,Y)=Cov(Y,X)\text{Cov}(X, Y) = \text{Cov}(Y , X)Cov(X,Y)=Cov(Y,X) , ρXY=ρYX\rho_{XY} = \rho_{YX}ρXY=ρYX

2.Cov(X,X)=D(X)\text{Cov}(X, X) = D(X)Cov(X,X)=D(X) , ρXX=1\rho_{XX} = 1ρXX=1

3.Cov(X,C)=0\text{Cov}(X, C) = 0Cov(X,C)=0

4.Cov(aX+b,Y)=a⋅Cov(X,Y)\text{Cov}(aX + b, Y) = a\cdot \text{Cov}(X, Y)Cov(aX+b,Y)=a⋅Cov(X,Y)

5.Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)\text{Cov}(X_1 + X_2 , Y) = \text{Cov}(X_1, Y) + \text{Cov}(X_2 , Y)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

6.∣ρXY∣≤1|\rho_{XY}| \le 1∣ρXY∣≤1

7.∣ρXY∣=1|\rho_{XY}| = 1∣ρXY∣=1的充要条件是存在常数 a ,b 使得P{Y=aX+b}=1P\{Y = aX + b\} = 1P{Y=aX+b}=1

换句话说，∣ρXY∣=1|\rho_{XY}| = 1∣ρXY∣=1 等价与 XXX 和 YYY之间存在线性关系

8.若随机变量X,YX , YX,Y的相关系数为ρXY\rho_{XY}ρXY,则其标准化随机变量X∗,Y∗X^* , Y^*X∗,Y∗的相关系数ρX∗Y∗=ρXY\rho_{X^*Y^*} = \rho_{XY}ρX∗Y∗=ρXY

3.3 协方差与相关系数的含义

考虑以 XXX 的线性函数 a+bXa+bXa+bX 来近似表示 YYY，我们以均方误差

e=E $(Y-(a+bX))2$ =E(Y2)+b2E(X2)+a2−2bE(XY)+2abE(X)−2aE(Y) \begin{align} e &= E $(Y - (a+bX))\^2$ \\ &= E(Y^2) + b^2E(X^2) + a^2 - 2bE(XY) + 2abE(X) - 2aE(Y) \end{align} e=E $(Y-(a+bX))2$ =E(Y2)+b2E(X2)+a2−2bE(XY)+2abE(X)−2aE(Y)

来衡量以 a+bXa+bXa+bX 近似表达 YYY 的好坏程度。eee 的值越小表示 a+bXa+bXa+bX 与 YYY 的近似程度越好。

这样，我们就取 a,ba, ba,b 使 eee 取到最小。下面就来求最佳近似式 a+bXa+bXa+bX 中的 a,ba, ba,b。为此，将 eee 分别关于 a,ba, ba,b 求偏导数，并令它们等于零，得

{∂e∂a=2a+2bE(X)−2E(Y)=0∂e∂b=2bE(X2)−2E(XY)+2aE(X)=0 \begin{cases} \frac{\partial e}{\partial a} = 2a + 2bE(X) - 2E(Y) = 0 \\ \\ \frac{\partial e}{\partial b} = 2bE(X^2) - 2E(XY) + 2aE(X) = 0 \end{cases} ⎩ ⎨ ⎧∂a∂e=2a+2bE(X)−2E(Y)=0∂b∂e=2bE(X2)−2E(XY)+2aE(X)=0

解得 b0=Cov(X,Y)D(X), b_0 = \frac{\text{Cov}(X, Y)}{D(X)}, b0=D(X)Cov(X,Y), a0=E(Y)−b0E(X)=E(Y)−E(X)Cov(X,Y)D(X). a_0 = E(Y) - b_0E(X) = E(Y) - E(X)\frac{\text{Cov}(X, Y)}{D(X)}. a0=E(Y)−b0E(X)=E(Y)−E(X)D(X)Cov(X,Y).

将 a0,b0a_0, b_0a0,b0 代回得

min⁡a,bE{ $Y-(a+bX)$ 2}=E{ $Y-(a0+b0X)$ 2}=D $Y-a0-b0X$ + $E(Y-a0-b0X)$ 2=D(Y−b0X)− $12\partiale\partiala$ a0=b0=02=D(Y−b0X)+0=D(Y)+b02D(X)−2b0Cov(X,Y)=D(Y)+Cov2(X,Y)D(X)−2Cov2(X,Y)D(X)=(1−ρXY2)D(Y) \begin{align} \min_{a, b} E\{ $Y - (a+bX)$ ^2\} &= E\{ $Y - (a_0 + b_0X)$ ^2\} \\ &= D $Y - a_0 - b_0X$ + $E(Y - a_0 - b_0X)$ ^2 \\ &= D(Y - b_0X) - \left $\\frac{1}{2} \\frac{\\partial e}{\\partial a} \\right$ ^2_{a_0 = b_0 = 0} \\ &= D(Y - b_0X) + 0 \\ &=D(Y) + b_0^2D(X) - 2b_0\text{Cov}(X, Y) \\ &= D(Y) + \frac{\text{Cov}^2(X, Y)}{D(X)} - 2\frac{\text{Cov}^2(X, Y)}{D(X)} \\ &= (1 - \rho_{XY}^2)D(Y) \end{align} a,bminE{ $Y-(a+bX)$ 2}=E{ $Y-(a0+b0X)$ 2}=D $Y-a0-b0X$ + $E(Y-a0-b0X)$ 2=D(Y−b0X)− $21\partiala\partiale$ a0=b0=02=D(Y−b0X)+0=D(Y)+b02D(X)−2b0Cov(X,Y)=D(Y)+D(X)Cov2(X,Y)−2D(X)Cov2(X,Y)=(1−ρXY2)D(Y)

上式表明，均方误差eee是关于∣ρXY∣|\rho_{XY}|∣ρXY∣的严格单调递减函数，且ρXY\rho_{XY}ρXY是一个表征随机变量X,YX,YX,Y之间线性关系的紧密程度的量，∣ρXY∣|\rho_{XY}|∣ρXY∣越大，随机变量X,YX,YX,Y线性相关的程度越好，反之越差。

当∣ρXY∣=1|\rho_{XY}| = 1∣ρXY∣=1 时，随机变量X,YX,YX,Y之间以概率 1 存在着线性关系。

当∣ρXY∣=0|\rho_{XY}| =0∣ρXY∣=0 时，随机变量X,YX,YX,Y不相关(不存在线性关系)。

特别地，若XXX 和 YYY相互独立，则由协方差定义知Cov(X,Y)=0\text{Cov}(X, Y) = 0Cov(X,Y)=0, 即 $\\rho_{XY} = 0$

由此可得出一条结论:

若XXX 和 YYY相互独立,则若XXX 和 YYY 一定不相关.

XXX 和 YYY不相关不代表 XXX 和 YYY相互独立(它们之间可能存在某种非线性关系如 Y=Sin(X)Y = Sin(X)Y=Sin(X) )

四、矩与协方差矩阵

4.1 矩的概念

定义设 XXX 和 YYY 是随机变量

若 E(Xk),(k=1,2,⋯ )E(X^k), \quad (k=1,2,\cdots)E(Xk),(k=1,2,⋯) 存在，称它为 XXX 的 kkk 阶原点矩，简称 kkk 阶矩。
若 E( $X-E(X)$ k),(k=2,3,⋯ ) E( $X-E(X)$ ^k), \quad (k=2,3,\cdots) E( $X-E(X)$ k),(k=2,3,⋯) 存在，称它为 XXX 的 kkk 阶中心矩。
若 E(XkYl),(k,l=1,2,⋯ ) E(X^kY^l), (\quad k,l=1,2,\cdots) E(XkYl),(k,l=1,2,⋯) 存在，称它为 XXX 和 YYY 的 k+lk+lk+l 阶混合矩。
若 E( $X-E(X)$ k $Y-E(Y)$ l),(k,l=1,2,⋯ ) E( $X-E(X)$ ^k $Y-E(Y)$ ^l), \quad (k,l=1,2,\cdots) E( $X-E(X)$ k $Y-E(Y)$ l),(k,l=1,2,⋯) 存在，称它为 XXX 和 YYY 的 k+lk+lk+l 阶混合中心矩。

XXX 的数学期望 E(X)E(X)E(X) 是 XXX 的一阶原点矩，方差 D(X)D(X)D(X) 是 XXX 的二阶中心矩，协方差 Cov(X,Y)\text{Cov}(X,Y)Cov(X,Y) 是 XXX 和 YYY 的二阶混合中心矩。

4.2 协方差矩阵

定义

设 nnn 维随机变量 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 的二阶混合中心矩,且

cij=Cov(Xi,Xj)=E( $Xi-E(Xi)$ $Xj-E(Xj)$ ),i,j=1,2,⋯ ,n c_{ij} = \text{Cov}(X_i, X_j) = E( $X_i-E(X_i)$ $X_j-E(X_j)$ ), \quad i,j=1,2,\cdots,n cij=Cov(Xi,Xj)=E( $Xi-E(Xi)$ $Xj-E(Xj)$ ),i,j=1,2,⋯,n

都存在，则称矩阵

C=(c11c12⋯c1nc21c22⋯c2n⋮⋮⋱⋮cn1cn2⋯cnn)=(Var(X1)Cov(X1,X2)⋯Cov(X1,Xn)Cov(X2,X1)Var(X2)⋯Cov(X2,Xn)⋮⋮⋱⋮Cov(Xn,X1)Cov(Xn,X2)⋯Var(Xn)) C = \begin{pmatrix} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \end{pmatrix} =\begin{pmatrix} \mathrm{Var}(X_1) & \mathrm{Cov}(X_1, X_2) & \cdots & \mathrm{Cov}(X_1, X_n) \\ \mathrm{Cov}(X_2, X_1) & \mathrm{Var}(X_2) & \cdots & \mathrm{Cov}(X_2, X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \mathrm{Cov}(X_n, X_1) & \mathrm{Cov}(X_n, X_2) & \cdots & \mathrm{Var}(X_n) \end{pmatrix} C= c11c21⋮cn1c12c22⋮cn2⋯⋯⋱⋯c1nc2n⋮cnn = Var(X1)Cov(X2,X1)⋮Cov(Xn,X1)Cov(X1,X2)Var(X2)⋮Cov(Xn,X2)⋯⋯⋱⋯Cov(X1,Xn)Cov(X2,Xn)⋮Var(Xn)

为 nnn 维随机变量 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 的协方差矩阵。由于 cij=cji(i≠j;i,j=1,2,⋯ ,n)c_{ij} = c_{ji} \quad (i \neq j; i,j=1,2,\cdots,n)cij=cji(i=j;i,j=1,2,⋯,n)，因而上述矩阵是一个对称矩阵。

二维随机变量 (X1,X2)(X_1, X_2)(X1,X2) 有四个二阶中心矩（设它们都存在），分别记为

c11=E( $X1-E(X1)$ 2)=Var(X1)c12=E( $X1-E(X1)$ $X2-E(X2)$ )=Cov(X1,X2)c21=E( $X2-E(X2)$ $X1-E(X1)$ )=Cov(X2,X1)=Cov(X1,X2)c22=E( $X2-E(X2)$ 2)=Var(X2) \begin{align} &c_{11} = E( $X_1-E(X_1)$ ^2) = Var(X_1) \\ &c_{12} = E( $X_1-E(X_1)$ $X_2-E(X_2)$ ) = Cov(X_1,X_2) \\ &c_{21} = E( $X_2-E(X_2)$ $X_1-E(X_1)$ ) = Cov(X_2,X_1) = Cov(X_1,X_2)\\ &c_{22} = E( $X_2-E(X_2)$ ^2) = Var(X_2) \end{align} c11=E( $X1-E(X1)$ 2)=Var(X1)c12=E( $X1-E(X1)$ $X2-E(X2)$ )=Cov(X1,X2)c21=E( $X2-E(X2)$ $X1-E(X1)$ )=Cov(X2,X1)=Cov(X1,X2)c22=E( $X2-E(X2)$ 2)=Var(X2)

将它们排成矩阵的形式

(c11c12c21c22)=(Var(X1)Cov(X1,X2)Cov(X1,X2)Var(X2)) \begin{pmatrix} c_{11} & c_{12} \\ c_{21} & c_{22} \end{pmatrix} = \begin{pmatrix} Var(X_1) & Cov(X_1,X_2) \\ Cov(X_1,X_2) & Var(X_2) \end{pmatrix} (c11c21c12c22)=(Var(X1)Cov(X1,X2)Cov(X1,X2)Var(X2))

这个矩阵称为随机变量 (X1,X2)(X_1, X_2)(X1,X2) 的协方差矩阵。

4.3 n维正态随机变量及其性质

概率密度

nnn 维正态随机变量 $(X_1, X_2, \\cdots, X_n)$ 的概率密度定义为

(x1,x2,⋯ ,xn)=1(2π)n/2(det⁡C)1/2exp⁡{−12(X−μ)TC−1(X−μ)} (x_1, x_2, \cdots, x_n) = \frac{1}{(2\pi)^{n/2} (\det \mathbf{C})^{1/2}} \exp \left\{ -\frac{1}{2} (\mathbf{X} - \boldsymbol{\mu})^T \mathbf{C}^{-1} (\mathbf{X} - \boldsymbol{\mu}) \right\} (x1,x2,⋯,xn)=(2π)n/2(detC)1/21exp{−21(X−μ)TC−1(X−μ)}

其中 C\mathbf{C}C 是 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 的协方差矩阵，det Cdet \, CdetC为其行列式, μ\boldsymbol{\mu}μ 是其均值向量。

性质

nnn 维正态随机变量 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 的每一个分量 Xi,i=1,2,⋯ ,nX_i, i = 1, 2, \cdots, nXi,i=1,2,⋯,n 都是正态随机变量；反之，若 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn 都是正态随机变量，且相互独立，则 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 是 nnn 维正态随机变量。
nnn 维随机变量 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 服从 nnn 维正态分布的充要条件是 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn 的任意的线性组合

l1X1+l2X2+⋯+lnXn l_1 X_1 + l_2 X_2 + \cdots + l_n X_n l1X1+l2X2+⋯+lnXn

服从一维正态分布（其中 l1,l2,⋯ ,lnl_1, l_2, \cdots, l_nl1,l2,⋯,ln 不全为零）。

若 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 服从 nnn 维正态分布，设 Y1,Y2,⋯ ,YkY_1, Y_2, \cdots, Y_kY1,Y2,⋯,Yk 是 XjX_jXj (j=1,2,⋯ ,n)(j = 1, 2, \cdots, n)(j=1,2,⋯,n) 的线性函数，则 (Y1,Y2,⋯ ,Yk)(Y_1, Y_2, \cdots, Y_k)(Y1,Y2,⋯,Yk) 也服从多维正态分布。这一性质称为正态变量的线性变换不变性。
设 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n)(X1,X2,⋯,Xn) 服从 nnn 维正态分布，则 "X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn 相互独立" 与 "X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn 两两不相关" 是等价的。