一、数学期望
1. 数学期望的概念
定义：数学期望是随机变量取值的加权平均值，权重为相应的概率。
-
离散型随机变量 ：
设 XXX 的分布律为 P{X=xi}=pi,i=1,2,⋯P\{X = x_i\} = p_i, i=1,2,\cdotsP{X=xi}=pi,i=1,2,⋯，若级数 ∑i=1∞xipi\sum_{i=1}^{\infty} x_i p_i∑i=1∞xipi 绝对收敛，则
E(X)=∑i=1∞xipi E(X) = \sum_{i=1}^{\infty} x_i p_i E(X)=i=1∑∞xipi -
连续型随机变量 ：
设 XXX 的概率密度为 f(x)f(x)f(x)，若积分 ∫−∞∞xf(x) dx\int_{-\infty}^{\infty} x f(x) \, dx∫−∞∞xf(x)dx 绝对收敛，则
E(X)=∫−∞∞xf(x) dx E(X) = \int_{-\infty}^{\infty} x f(x) \, dx E(X)=∫−∞∞xf(x)dx
例题1 ：设随机变量 XXX 的分布律为
| XXX | −1-1−1 | 000 | 111 |
|---|---|---|---|
| PPP | 0.30.30.3 | 0.20.20.2 | 0.50.50.5 |
求 E(X)E(X)E(X)。
解 ：
E(X)=(−1)×0.3+0×0.2+1×0.5=0.2 E(X) = (-1) \times 0.3 + 0 \times 0.2 + 1 \times 0.5 = 0.2 E(X)=(−1)×0.3+0×0.2+1×0.5=0.2
2. 随机变量函数的数学期望
定理 ：设 Y=g(X)Y = g(X)Y=g(X) 是随机变量 XXX 的函数。
-
离散型 ：若 ∑i=1∞g(xi)pi\sum_{i=1}^{\infty} g(x_i) p_i∑i=1∞g(xi)pi 绝对收敛，则
E(Y)=E[g(X)]=∑i=1∞g(xi)pi E(Y) = E[g(X)] = \sum_{i=1}^{\infty} g(x_i) p_i E(Y)=E[g(X)]=i=1∑∞g(xi)pi -
连续型 ：若 ∫−∞∞g(x)f(x) dx\int_{-\infty}^{\infty} g(x) f(x) \, dx∫−∞∞g(x)f(x)dx 绝对收敛，则
E(Y)=E[g(X)]=∫−∞∞g(x)f(x) dx E(Y) = E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) \, dx E(Y)=E[g(X)]=∫−∞∞g(x)f(x)dx -
二维情形 ：设 Z=g(X,Y)Z = g(X, Y)Z=g(X,Y)
- 离散型：E(Z)=∑i=1∞∑j=1∞g(xi,yj)pijE(Z) = \sum_{i=1}^{\infty} \sum_{j=1}^{\infty} g(x_i, y_j) p_{ij}E(Z)=∑i=1∞∑j=1∞g(xi,yj)pij
- 连续型：E(Z)=∫−∞∞∫−∞∞g(x,y)f(x,y) dx dyE(Z) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) \, dx \, dyE(Z)=∫−∞∞∫−∞∞g(x,y)f(x,y)dxdy
例题2 ：设 XXX 的概率密度为
f(x)={2x,0<x<10,其他 f(x) = \begin{cases} 2x, & 0 < x < 1 \\ 0, & \text{其他} \end{cases} f(x)={2x,0,0<x<1其他
求 E(X2)E(X^2)E(X2)。
解 ：
E(X2)=∫01x2⋅2x dx=∫012x3 dx=12x4∣01=12 E(X^2) = \int_0^1 x^2 \cdot 2x \, dx = \int_0^1 2x^3 \, dx = \left. \frac{1}{2} x^4 \right|_0^1 = \frac{1}{2} E(X2)=∫01x2⋅2xdx=∫012x3dx=21x4 01=21
3. 数学期望的性质
- E(C)=CE(C) = CE(C)=C（CCC 为常数）
- E(CX)=CE(X)E(CX) = C E(X)E(CX)=CE(X)
- E(X+Y)=E(X)+E(Y)E(X + Y) = E(X) + E(Y)E(X+Y)=E(X)+E(Y)
- 若 X,YX, YX,Y 相互独立，则 E(XY)=E(X)E(Y)E(XY) = E(X) E(Y)E(XY)=E(X)E(Y)
例题3 ：设 X,YX, YX,Y 相互独立，E(X)=2E(X) = 2E(X)=2，E(Y)=3E(Y) = 3E(Y)=3，求 E(2X+3Y−1)E(2X + 3Y - 1)E(2X+3Y−1)。
解 ：
E(2X+3Y−1)=2E(X)+3E(Y)−1=2×2+3×3−1=12 E(2X + 3Y - 1) = 2E(X) + 3E(Y) - 1 = 2 \times 2 + 3 \times 3 - 1 = 12 E(2X+3Y−1)=2E(X)+3E(Y)−1=2×2+3×3−1=12
二、方差
1. 方差的概念
定义 ：方差描述随机变量取值与其数学期望的偏离程度。
D(X)=E{[X−E(X)]2} D(X) = E\{[X - E(X)]^2\} D(X)=E{[X−E(X)]2}
计算公式 ：
D(X)=E(X2)−[E(X)]2 D(X) = E(X^2) - [E(X)]^2 D(X)=E(X2)−[E(X)]2
- 离散型：D(X)=∑i=1∞[xi−E(X)]2piD(X) = \sum_{i=1}^{\infty} [x_i - E(X)]^2 p_iD(X)=∑i=1∞[xi−E(X)]2pi
- 连续型：D(X)=∫−∞∞[x−E(X)]2f(x) dxD(X) = \int_{-\infty}^{\infty} [x - E(X)]^2 f(x) \, dxD(X)=∫−∞∞[x−E(X)]2f(x)dx
例题4 ：求例题1中随机变量 XXX 的方差。
解 ：已知 E(X)=0.2E(X) = 0.2E(X)=0.2
E(X2)=(−1)2×0.3+02×0.2+12×0.5=0.8 E(X^2) = (-1)^2 \times 0.3 + 0^2 \times 0.2 + 1^2 \times 0.5 = 0.8 E(X2)=(−1)2×0.3+02×0.2+12×0.5=0.8
D(X)=E(X2)−[E(X)]2=0.8−(0.2)2=0.76 D(X) = E(X^2) - [E(X)]^2 = 0.8 - (0.2)^2 = 0.76 D(X)=E(X2)−[E(X)]2=0.8−(0.2)2=0.76
2. 方差的性质
- D(C)=0D(C) = 0D(C)=0（CCC 为常数）
- D(CX)=C2D(X)D(CX) = C^2 D(X)D(CX)=C2D(X)
- D(X+C)=D(X)D(X + C) = D(X)D(X+C)=D(X)
- 若 X,YX, YX,Y 相互独立，则 D(X+Y)=D(X)+D(Y)D(X + Y) = D(X) + D(Y)D(X+Y)=D(X)+D(Y)
例题5 ：设 X,YX, YX,Y 相互独立，D(X)=4D(X) = 4D(X)=4，D(Y)=9D(Y) = 9D(Y)=9，求 D(2X−3Y+1)D(2X - 3Y + 1)D(2X−3Y+1)。
解 ：
D(2X−3Y+1)=4D(X)+9D(Y)=4×4+9×9=97 D(2X - 3Y + 1) = 4D(X) + 9D(Y) = 4 \times 4 + 9 \times 9 = 97 D(2X−3Y+1)=4D(X)+9D(Y)=4×4+9×9=97
3. 切比雪夫不等式
定理 ：设随机变量 XXX 的数学期望 E(X)=μE(X) = \muE(X)=μ，方差 D(X)=σ2D(X) = \sigma^2D(X)=σ2，则对任意 ε>0\varepsilon > 0ε>0，有
P{∣X−μ∣≥ε}≤σ2ε2 P\{|X - \mu| \geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2
等价形式：
P{∣X−μ∣<ε}≥1−σ2ε2 P\{|X - \mu| < \varepsilon\} \geq 1 - \frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣<ε}≥1−ε2σ2
例题6 ：设 XXX 的 E(X)=10E(X) = 10E(X)=10，D(X)=0.01D(X) = 0.01D(X)=0.01，用切比雪夫不等式估计 P{9.8<X<10.2}P\{9.8 < X < 10.2\}P{9.8<X<10.2}。
解 ：
P{9.8<X<10.2}=P{∣X−10∣<0.2}≥1−0.01(0.2)2=0.75 P\{9.8 < X < 10.2\} = P\{|X - 10| < 0.2\} \geq 1 - \frac{0.01}{(0.2)^2} = 0.75 P{9.8<X<10.2}=P{∣X−10∣<0.2}≥1−(0.2)20.01=0.75
三、协方差与相关系数
1. 协方差的概念
定义 ：
Cov(X,Y)=E{[X−E(X)][Y−E(Y)]} \operatorname{Cov}(X, Y) = E\{[X - E(X)][Y - E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
计算公式 ：
Cov(X,Y)=E(XY)−E(X)E(Y) \operatorname{Cov}(X, Y) = E(XY) - E(X) E(Y) Cov(X,Y)=E(XY)−E(X)E(Y)
2. 协方差的性质
- Cov(X,Y)=Cov(Y,X)\operatorname{Cov}(X, Y) = \operatorname{Cov}(Y, X)Cov(X,Y)=Cov(Y,X)
- Cov(aX,bY)=abCov(X,Y)\operatorname{Cov}(aX, bY) = ab \operatorname{Cov}(X, Y)Cov(aX,bY)=abCov(X,Y)
- Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)\operatorname{Cov}(X_1 + X_2, Y) = \operatorname{Cov}(X_1, Y) + \operatorname{Cov}(X_2, Y)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
- D(X±Y)=D(X)+D(Y)±2Cov(X,Y)D(X \pm Y) = D(X) + D(Y) \pm 2 \operatorname{Cov}(X, Y)D(X±Y)=D(X)+D(Y)±2Cov(X,Y)
3. 协方差的计算
例题7 ：设 (X,Y)(X, Y)(X,Y) 的联合分布律为
| X\YX \backslash YX\Y | 000 | 111 |
|---|---|---|
| 000 | 0.30.30.3 | 0.20.20.2 |
| 111 | 0.20.20.2 | 0.30.30.3 |
求 Cov(X,Y)\operatorname{Cov}(X, Y)Cov(X,Y)。
解 ：
E(X)=0×0.5+1×0.5=0.5,E(Y)=0×0.5+1×0.5=0.5 E(X) = 0 \times 0.5 + 1 \times 0.5 = 0.5, \quad E(Y) = 0 \times 0.5 + 1 \times 0.5 = 0.5 E(X)=0×0.5+1×0.5=0.5,E(Y)=0×0.5+1×0.5=0.5
E(XY)=0×0×0.3+0×1×0.2+1×0×0.2+1×1×0.3=0.3 E(XY) = 0 \times 0 \times 0.3 + 0 \times 1 \times 0.2 + 1 \times 0 \times 0.2 + 1 \times 1 \times 0.3 = 0.3 E(XY)=0×0×0.3+0×1×0.2+1×0×0.2+1×1×0.3=0.3
Cov(X,Y)=E(XY)−E(X)E(Y)=0.3−0.5×0.5=0.05 \operatorname{Cov}(X, Y) = E(XY) - E(X) E(Y) = 0.3 - 0.5 \times 0.5 = 0.05 Cov(X,Y)=E(XY)−E(X)E(Y)=0.3−0.5×0.5=0.05
4. 相关系数的概念
定义 ：
ρXY=Cov(X,Y)D(X)D(Y) \rho_{XY} = \frac{\operatorname{Cov}(X, Y)}{\sqrt{D(X)} \sqrt{D(Y)}} ρXY=D(X) D(Y) Cov(X,Y)
5. 相关系数的性质
- ∣ρXY∣≤1|\rho_{XY}| \leq 1∣ρXY∣≤1
- ∣ρXY∣=1|\rho_{XY}| = 1∣ρXY∣=1 的充要条件是存在常数 a,ba, ba,b 使 P{Y=aX+b}=1P\{Y = aX + b\} = 1P{Y=aX+b}=1
6. 相关系数的计算
例题8 ：续例题7，求 ρXY\rho_{XY}ρXY。
解 ：
D(X)=E(X2)−[E(X)]2=0.5−0.25=0.25 D(X) = E(X^2) - [E(X)]^2 = 0.5 - 0.25 = 0.25 D(X)=E(X2)−[E(X)]2=0.5−0.25=0.25
D(Y)=E(Y2)−[E(Y)]2=0.5−0.25=0.25 D(Y) = E(Y^2) - [E(Y)]^2 = 0.5 - 0.25 = 0.25 D(Y)=E(Y2)−[E(Y)]2=0.5−0.25=0.25
ρXY=0.050.25×0.25=0.2 \rho_{XY} = \frac{0.05}{\sqrt{0.25} \times \sqrt{0.25}} = 0.2 ρXY=0.25 ×0.25 0.05=0.2
7. 不相关的概念
定义 ：若 ρXY=0\rho_{XY} = 0ρXY=0，称 XXX 与 YYY 不相关。
注意：不相关 ⇏\nRightarrow⇏ 独立，独立 ⇒\Rightarrow⇒ 不相关。
四、矩、协方差矩阵
1. 一个随机变量的矩
- kkk 阶原点矩：αk=E(Xk)\alpha_k = E(X^k)αk=E(Xk)
- kkk 阶中心矩：μk=E{[X−E(X)]k}\mu_k = E\{[X - E(X)]^k\}μk=E{[X−E(X)]k}
特别地：
一阶原点矩：α1=E(X)\alpha_1 = E(X)α1=E(X)（数学期望）
二阶中心矩：μ2=E{[X−E(X)]2}\mu_2 = E\{[X - E(X)]^2\}μ2=E{[X−E(X)]2}（方差）
2. 两个随机变量的矩
- k+lk+lk+l 阶混合矩：E(XkYl)E(X^k Y^l)E(XkYl)
- k+lk+lk+l 阶混合中心矩：E{[X−E(X)]k[Y−E(Y)]l}E\{[X - E(X)]^k [Y - E(Y)]^l\}E{[X−E(X)]k[Y−E(Y)]l}
特别地：
1+11+11+1阶混合中心矩：Cov(X,Y)\operatorname{Cov}(X, Y)Cov(X,Y)（协方差）
3. 协方差矩阵
设 nnn 维随机向量 X=(X1,X2,⋯ ,Xn)T\mathbf{X} = (X_1, X_2, \cdots, X_n)^TX=(X1,X2,⋯,Xn)T，记 cij=Cov(Xi,Xj)c_{ij} = \operatorname{Cov}(X_i, X_j)cij=Cov(Xi,Xj)，则协方差矩阵为：
C=(c11c12⋯c1nc21c22⋯c2n⋮⋮⋱⋮cn1cn2⋯cnn) \mathbf{C} = \begin{pmatrix} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \end{pmatrix} C= c11c21⋮cn1c12c22⋮cn2⋯⋯⋱⋯c1nc2n⋮cnn
性质：
- 对称性：cij=cjic_{ij} = c_{ji}cij=cji
- 非负定性：对任意实向量 a\mathbf{a}a，有 aTCa≥0\mathbf{a}^T \mathbf{C} \mathbf{a} \geq 0aTCa≥0
例题9 ：设二维随机向量 (X,Y)(X, Y)(X,Y) 的协方差矩阵为 (4119)\begin{pmatrix} 4 & 1 \\ 1 & 9 \end{pmatrix}(4119)，求 D(X),D(Y),Cov(X,Y)D(X), D(Y), \operatorname{Cov}(X, Y)D(X),D(Y),Cov(X,Y)。
解 ：
D(X)=4,D(Y)=9,Cov(X,Y)=1 D(X) = 4, \quad D(Y) = 9, \quad \operatorname{Cov}(X, Y) = 1 D(X)=4,D(Y)=9,Cov(X,Y)=1
历年考题选讲
考题1 ：设 X∼N(1,4)X \sim N(1, 4)X∼N(1,4)，Y∼N(2,9)Y \sim N(2, 9)Y∼N(2,9)，且 XXX 与 YYY 独立，求 E(2X−3Y+1)E(2X - 3Y + 1)E(2X−3Y+1) 和 D(2X−3Y+1)D(2X - 3Y + 1)D(2X−3Y+1)。
解 ：
E(2X−3Y+1)=2E(X)−3E(Y)+1=2×1−3×2+1=−3 E(2X - 3Y + 1) = 2E(X) - 3E(Y) + 1 = 2 \times 1 - 3 \times 2 + 1 = -3 E(2X−3Y+1)=2E(X)−3E(Y)+1=2×1−3×2+1=−3
D(2X−3Y+1)=4D(X)+9D(Y)=4×4+9×9=97 D(2X - 3Y + 1) = 4D(X) + 9D(Y) = 4 \times 4 + 9 \times 9 = 97 D(2X−3Y+1)=4D(X)+9D(Y)=4×4+9×9=97
考题2 ：设 X,YX, YX,Y 的相关系数 ρXY=0.5\rho_{XY} = 0.5ρXY=0.5，D(X)=1D(X) = 1D(X)=1，D(Y)=4D(Y) = 4D(Y)=4，求 D(2X−Y+3)D(2X - Y + 3)D(2X−Y+3)。
解 ：
Cov(X,Y)=ρXYD(X)D(Y)=0.5×1×4=1 \operatorname{Cov}(X, Y) = \rho_{XY} \sqrt{D(X) D(Y)} = 0.5 \times \sqrt{1 \times 4} = 1 Cov(X,Y)=ρXYD(X)D(Y) =0.5×1×4 =1
D(2X−Y+3)=4D(X)+D(Y)−4Cov(X,Y)=4×1+4−4×1=4 D(2X - Y + 3) = 4D(X) + D(Y) - 4 \operatorname{Cov}(X, Y) = 4 \times 1 + 4 - 4 \times 1 = 4 D(2X−Y+3)=4D(X)+D(Y)−4Cov(X,Y)=4×1+4−4×1=4