随机变量的数字特征 --- 知识点总结与详细推导
§1 数学期望
一、离散型随机变量的数学期望
定义： 设离散型随机变量 XXX 的分布律为 P(X=xk)=pk, k=1,2,...P(X = x_k) = p_k,\; k=1,2,\ldotsP(X=xk)=pk,k=1,2,...，若级数 ∑k=1∞xkpk\displaystyle\sum_{k=1}^{\infty} x_k p_kk=1∑∞xkpk 绝对收敛，则称
E(X)=∑k=1∞xk pkE(X) = \sum_{k=1}^{\infty} x_k \, p_kE(X)=k=1∑∞xkpk
为 XXX 的数学期望（简称期望，又称均值）。
注意： 要求绝对收敛是为了保证期望值不随求和顺序改变。
二、连续型随机变量的数学期望
定义： 设连续型随机变量 XXX 的概率密度函数为 f(x)f(x)f(x)，若积分 ∫−∞+∞x f(x) dx\displaystyle\int_{-\infty}^{+\infty} x\, f(x)\,dx∫−∞+∞xf(x)dx 绝对收敛，则称
E(X)=∫−∞+∞x f(x) dxE(X) = \int_{-\infty}^{+\infty} x\, f(x)\,dxE(X)=∫−∞+∞xf(x)dx
为 XXX 的数学期望。
三、随机变量函数的数学期望（期望的换元公式）
定理（一维）： 设 Y=g(X)Y = g(X)Y=g(X)，则
- 离散情形：E(Y)=∑k=1∞g(xk) pkE(Y) = \displaystyle\sum_{k=1}^{\infty} g(x_k)\, p_kE(Y)=k=1∑∞g(xk)pk
- 连续情形：E(Y)=∫−∞+∞g(x) f(x) dxE(Y) = \displaystyle\int_{-\infty}^{+\infty} g(x)\, f(x)\,dxE(Y)=∫−∞+∞g(x)f(x)dx
定理（二维）： 设 (X,Y)(X, Y)(X,Y) 的联合密度为 f(x,y)f(x,y)f(x,y)，Z=g(X,Y)Z = g(X, Y)Z=g(X,Y)，则
E(Z)=∫−∞+∞∫−∞+∞g(x,y) f(x,y) dx dyE(Z) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} g(x,y)\, f(x,y)\,dx\,dyE(Z)=∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdy
推导思路： 以连续情形为例，由 Y=g(X)Y = g(X)Y=g(X) 的定义，YYY 的密度 fY(y)=∑x:g(x)=yf(x)∣g′(x)∣f_Y(y) = \displaystyle\sum_{x:g(x)=y} \frac{f(x)}{|g'(x)|}fY(y)=x:g(x)=y∑∣g′(x)∣f(x)，代入期望定义后整理可得 E(Y)=∫g(x)f(x)dxE(Y) = \int g(x)f(x)dxE(Y)=∫g(x)f(x)dx。这个定理的重大意义在于：不必先求 YYY 的分布，直接用 XXX 的分布计算即可。
四、数学期望的性质
设 a,ba, ba,b 为常数，X,YX, YX,Y 为随机变量，期望存在，则：
(1) 常数的期望： E(c)=cE(c) = cE(c)=c
证明： ccc 退化为常数，P(X=c)=1P(X=c)=1P(X=c)=1，故 E(c)=c⋅1=cE(c) = c \cdot 1 = cE(c)=c⋅1=c。
(2) 线性性： E(aX+bY)=aE(X)+bE(Y)E(aX + bY) = aE(X) + bE(Y)E(aX+bY)=aE(X)+bE(Y)
证明（连续情形）：
E(aX+bY)=∫−∞+∞∫−∞+∞(ax+by)f(x,y) dx dyE(aX + bY) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(ax + by)f(x,y)\,dx\,dyE(aX+bY)=∫−∞+∞∫−∞+∞(ax+by)f(x,y)dxdy
=a∫−∞+∞∫−∞+∞x f(x,y) dx dy+b∫−∞+∞∫−∞+∞y f(x,y) dx dy= a\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} x\,f(x,y)\,dx\,dy + b\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} y\,f(x,y)\,dx\,dy=a∫−∞+∞∫−∞+∞xf(x,y)dxdy+b∫−∞+∞∫−∞+∞yf(x,y)dxdy
=a∫−∞+∞x fX(x) dx+b∫−∞+∞y fY(y) dy=aE(X)+bE(Y)= a\int_{-\infty}^{+\infty} x\,f_X(x)\,dx + b\int_{-\infty}^{+\infty} y\,f_Y(y)\,dy = aE(X) + bE(Y)=a∫−∞+∞xfX(x)dx+b∫−∞+∞yfY(y)dy=aE(X)+bE(Y)
注意： 线性性不要求 X,YX, YX,Y 独立。
(3) 若 X≥0X \geq 0X≥0，则 E(X)≥0E(X) \geq 0E(X)≥0。
(4) 若 X≤YX \leq YX≤Y（即 P(X≤Y)=1P(X \leq Y) = 1P(X≤Y)=1），则 E(X)≤E(Y)E(X) \leq E(Y)E(X)≤E(Y)。
(5) ∣E(X)∣≤E(∣X∣)|E(X)| \leq E(|X|)∣E(X)∣≤E(∣X∣)。
(6) 若 X,YX, YX,Y 独立 ，则 E(XY)=E(X)⋅E(Y)E(XY) = E(X) \cdot E(Y)E(XY)=E(X)⋅E(Y)。
证明： 若 X,YX,YX,Y 独立，f(x,y)=fX(x)⋅fY(y)f(x,y) = f_X(x) \cdot f_Y(y)f(x,y)=fX(x)⋅fY(y)，故
E(XY)=∫ ∫xy fX(x)fY(y) dx dy=(∫x fX(x)dx)(∫y fY(y)dy)=E(X)⋅E(Y)E(XY) = \int\!\!\int xy\,f_X(x)f_Y(y)\,dx\,dy = \left(\int x\,f_X(x)dx\right)\left(\int y\,f_Y(y)dy\right) = E(X) \cdot E(Y)E(XY)=∫∫xyfX(x)fY(y)dxdy=(∫xfX(x)dx)(∫yfY(y)dy)=E(X)⋅E(Y)
五、常见分布的期望
(1) 0-1分布 B(1,p)B(1, p)B(1,p)： E(X)=pE(X) = pE(X)=p
E(X)=1⋅p+0⋅(1−p)=pE(X) = 1 \cdot p + 0 \cdot (1-p) = pE(X)=1⋅p+0⋅(1−p)=p
(2) 二项分布 B(n,p)B(n, p)B(n,p)： E(X)=npE(X) = npE(X)=np
证明方法一（拆解法）： 令 X=X1+X2+⋯+XnX = X_1 + X_2 + \cdots + X_nX=X1+X2+⋯+Xn，其中 XiX_iXi 为第 iii 次试验中事件 AAA 发生的次数（Xi∼B(1,p)X_i \sim B(1,p)Xi∼B(1,p)）。则
E(X)=E(X1)+⋯+E(Xn)=npE(X) = E(X_1) + \cdots + E(X_n) = npE(X)=E(X1)+⋯+E(Xn)=np
证明方法二（直接计算）：
E(X)=∑k=0nk(nk)pk(1−p)n−k=np∑k=1n(n−1k−1)pk−1(1−p)n−kE(X) = \sum_{k=0}^{n} k \binom{n}{k} p^k (1-p)^{n-k} = np \sum_{k=1}^{n} \binom{n-1}{k-1} p^{k-1}(1-p)^{n-k}E(X)=k=0∑nk(kn)pk(1−p)n−k=npk=1∑n(k−1n−1)pk−1(1−p)n−k
令 j=k−1j = k-1j=k−1，则
=np∑j=0n−1(n−1j)pj(1−p)n−1−j=np⋅p+(1−p)n−1=np= np \sum_{j=0}^{n-1}\binom{n-1}{j}p^j(1-p)^{n-1-j} = np \cdot p + (1-p)^{n-1} = np=npj=0∑n−1(jn−1)pj(1−p)n−1−j=np⋅p+(1−p)n−1=np
(3) Poisson分布 P(λ)P(\lambda)P(λ)： E(X)=λE(X) = \lambdaE(X)=λ
E(X)=∑k=0∞k⋅λke−λk!=λe−λ∑k=1∞λk−1(k−1)!=λe−λ⋅eλ=λE(X) = \sum_{k=0}^{\infty} k \cdot \frac{\lambda^k e^{-\lambda}}{k!} = \lambda e^{-\lambda} \sum_{k=1}^{\infty}\frac{\lambda^{k-1}}{(k-1)!} = \lambda e^{-\lambda} \cdot e^{\lambda} = \lambdaE(X)=k=0∑∞k⋅k!λke−λ=λe−λk=1∑∞(k−1)!λk−1=λe−λ⋅eλ=λ
(4) 几何分布 G(p)G(p)G(p)（P(X=k)=(1−p)k−1p, k=1,2,...P(X=k) = (1-p)^{k-1}p,\; k=1,2,\ldotsP(X=k)=(1−p)k−1p,k=1,2,...）： E(X)=1pE(X) = \dfrac{1}{p}E(X)=p1
推导： 令 q=1−pq = 1-pq=1−p，则
E(X)=∑k=1∞k qk−1p=p⋅ddq(∑k=0∞qk)⋅1?E(X) = \sum_{k=1}^{\infty} k\, q^{k-1} p = p \cdot \frac{d}{dq}\left(\sum_{k=0}^{\infty} q^k\right) \cdot \frac{1}{?}E(X)=k=1∑∞kqk−1p=p⋅dqd(k=0∑∞qk)⋅?1
更准确地：
E(X)=p∑k=1∞k qk−1=p⋅ddq(∑k=1∞qk)=p⋅ddq(q1−q)=p⋅1(1−q)2=p⋅1p2=1pE(X) = p \sum_{k=1}^{\infty} k\, q^{k-1} = p \cdot \frac{d}{dq}\left(\sum_{k=1}^{\infty} q^k\right) = p \cdot \frac{d}{dq}\left(\frac{q}{1-q}\right) = p \cdot \frac{1}{(1-q)^2} = p \cdot \frac{1}{p^2} = \frac{1}{p}E(X)=pk=1∑∞kqk−1=p⋅dqd(k=1∑∞qk)=p⋅dqd(1−qq)=p⋅(1−q)21=p⋅p21=p1
(5) 均匀分布 U(a,b)U(a, b)U(a,b)： E(X)=a+b2E(X) = \dfrac{a+b}{2}E(X)=2a+b
E(X)=∫abx⋅1b−a dx=1b−a⋅x22∣ab=b2−a22(b−a)=a+b2E(X) = \int_a^b x \cdot \frac{1}{b-a}\,dx = \frac{1}{b-a} \cdot \frac{x^2}{2}\Big|_a^b = \frac{b^2 - a^2}{2(b-a)} = \frac{a+b}{2}E(X)=∫abx⋅b−a1dx=b−a1⋅2x2 ab=2(b−a)b2−a2=2a+b
(6) 指数分布 Exp(λ)Exp(\lambda)Exp(λ)： E(X)=1λE(X) = \dfrac{1}{\lambda}E(X)=λ1
E(X)=∫0+∞x⋅λe−λx dxE(X) = \int_0^{+\infty} x \cdot \lambda e^{-\lambda x}\,dxE(X)=∫0+∞x⋅λe−λxdx
利用分部积分（u=x, dv=λe−λxdxu = x,\; dv = \lambda e^{-\lambda x}dxu=x,dv=λe−λxdx）：
=−xe−λx0+∞+∫0+∞e−λx dx=0+−1λe−λx0+∞=1λ= \left-x e\^{-\\lambda x}\\right_0^{+\infty} + \int_0^{+\infty} e^{-\lambda x}\,dx = 0 + \left-\\frac{1}{\\lambda}e\^{-\\lambda x}\\right_0^{+\infty} = \frac{1}{\lambda}=−xe−λx0+∞+∫0+∞e−λxdx=0+−λ1e−λx0+∞=λ1
(7) 正态分布 N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2)： E(X)=μE(X) = \muE(X)=μ
证明：
E(X)=∫−∞+∞x⋅12πσe−(x−μ)22σ2 dxE(X) = \int_{-\infty}^{+\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\,dxE(X)=∫−∞+∞x⋅2π σ1e−2σ2(x−μ)2dx
令 t=x−μσt = \dfrac{x - \mu}{\sigma}t=σx−μ，则 x=σt+μ, dx=σ dtx = \sigma t + \mu,\; dx = \sigma\,dtx=σt+μ,dx=σdt：
=∫−∞+∞(σt+μ)⋅12πe−t2/2 dt= \int_{-\infty}^{+\infty} (\sigma t + \mu) \cdot \frac{1}{\sqrt{2\pi}} e^{-t^2/2}\,dt=∫−∞+∞(σt+μ)⋅2π 1e−t2/2dt
=σ∫−∞+∞t⋅12πe−t2/2 dt⏟= 0 （被积函数为奇函数）+μ∫−∞+∞12πe−t2/2 dt⏟= 1=μ= \sigma \underbrace{\int_{-\infty}^{+\infty} t \cdot \frac{1}{\sqrt{2\pi}} e^{-t^2/2}\,dt}{= \;0\;\text{（被积函数为奇函数）}} + \mu \underbrace{\int{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}} e^{-t^2/2}\,dt}_{= \;1} = \mu=σ=0（被积函数为奇函数） ∫−∞+∞t⋅2π 1e−t2/2dt+μ=1 ∫−∞+∞2π 1e−t2/2dt=μ
§2 方差
一、方差的定义
定义： 设 XXX 为随机变量，若 E(X−E(X))2E\big(X - E(X))\^2\\bigE(X−E(X))2 存在，则称
D(X)=Var(X)=E(X−E(X))2D(X) = \mathrm{Var}(X) = E\big(X - E(X))\^2\\bigD(X)=Var(X)=E(X−E(X))2
为 XXX 的方差 。称 σ(X)=D(X)\sigma(X) = \sqrt{D(X)}σ(X)=D(X) 为标准差（均方差）。
二、方差的计算公式
核心公式：
D(X)=E(X2)−E(X)2\boxed{D(X) = E(X^2) - E(X)^2}D(X)=E(X2)−E(X)2
推导：
D(X)=E(X−E(X))2D(X) = E\big(X - E(X))\^2\\bigD(X)=E(X−E(X))2
=EX2−2X⋅E(X)+(E(X))2= E\bigX\^2 - 2X \\cdot E(X) + (E(X))\^2\\big=EX2−2X⋅E(X)+(E(X))2
由期望的线性性：
=E(X2)−2E(X)⋅E(X)+E(X)2= E(X^2) - 2E(X) \cdot E(X) + E(X)^2=E(X2)−2E(X)⋅E(X)+E(X)2
=E(X2)−2E(X)2+E(X)2= E(X^2) - 2E(X)^2 + E(X)^2=E(X2)−2E(X)2+E(X)2
=E(X2)−E(X)2= E(X^2) - E(X)^2=E(X2)−E(X)2
这个公式在计算中极为重要：先分别求 E(X)E(X)E(X) 和 E(X2)E(X^2)E(X2)，再作差。
三、方差的性质
(1) D(c)=0D(c) = 0D(c)=0（常数的方差为零）
(2) D(aX+b)=a2D(X)D(aX + b) = a^2 D(X)D(aX+b)=a2D(X)
证明：
D(aX+b)=E(aX+b−E(aX+b))2=E(aX+b−aE(X)−b)2D(aX+b) = E\big(aX+b - E(aX+b))\^2\\big = E\big(aX+b - aE(X) - b)\^2\\bigD(aX+b)=E(aX+b−E(aX+b))2=E(aX+b−aE(X)−b)2
=Ea2(X−E(X))2=a2E(X−E(X))2=a2D(X)= E\biga\^2(X - E(X))\^2\\big = a^2 E\big(X-E(X))\^2\\big = a^2 D(X)=Ea2(X−E(X))2=a2E(X−E(X))2=a2D(X)
(3) 若 X,YX, YX,Y 独立 ，则 D(X+Y)=D(X)+D(Y)D(X + Y) = D(X) + D(Y)D(X+Y)=D(X)+D(Y)
证明： 令 μX=E(X), μY=E(Y)\mu_X = E(X),\; \mu_Y = E(Y)μX=E(X),μY=E(Y)：
D(X+Y)=E(X+Y−μX−μY)2D(X+Y) = E\big(X+Y - \\mu_X - \\mu_Y)\^2\\bigD(X+Y)=E(X+Y−μX−μY)2
=E(X−μX)2+(Y−μY)2+2(X−μX)(Y−μY)= E\big(X-\\mu_X)\^2 + (Y-\\mu_Y)\^2 + 2(X-\\mu_X)(Y-\\mu_Y)\\big=E(X−μX)2+(Y−μY)2+2(X−μX)(Y−μY)
=D(X)+D(Y)+2 E(X−μX)(Y−μY)= D(X) + D(Y) + 2\,E\big(X-\\mu_X)(Y-\\mu_Y)\\big=D(X)+D(Y)+2E(X−μX)(Y−μY)
因为 X,YX,YX,Y 独立，所以 E(X−μX)(Y−μY)=E(X−μX)⋅E(Y−μY)=0⋅0=0E\big(X-\\mu_X)(Y-\\mu_Y)\\big = E(X-\mu_X)\cdot E(Y-\mu_Y) = 0 \cdot 0 = 0E(X−μX)(Y−μY)=E(X−μX)⋅E(Y−μY)=0⋅0=0
故 D(X+Y)=D(X)+D(Y)D(X+Y) = D(X) + D(Y)D(X+Y)=D(X)+D(Y)。□\square□
推广： 若 X1,X2,...,XnX_1, X_2, \ldots, X_nX1,X2,...,Xn 两两独立，则
D (∑i=1nXi)=∑i=1nD(Xi)D\!\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n D(X_i)D(i=1∑nXi)=i=1∑nD(Xi)
(4) D(X)=0D(X) = 0D(X)=0 的充要条件是 P(X=c)=1P(X = c) = 1P(X=c)=1（ccc 为常数），即 XXX 几乎必然为常数。
四、常见分布的方差
(1) 0-1分布 B(1,p)B(1, p)B(1,p)： D(X)=p(1−p)D(X) = p(1-p)D(X)=p(1−p)
E(X2)=12⋅p+02⋅(1−p)=pE(X^2) = 1^2 \cdot p + 0^2 \cdot (1-p) = pE(X2)=12⋅p+02⋅(1−p)=p
D(X)=p−p2=p(1−p)D(X) = p - p^2 = p(1-p)D(X)=p−p2=p(1−p)
(2) 二项分布 B(n,p)B(n, p)B(n,p)： D(X)=np(1−p)D(X) = np(1-p)D(X)=np(1−p)
证明： X=X1+X2+⋯+XnX = X_1 + X_2 + \cdots + X_nX=X1+X2+⋯+Xn，XiX_iXi 独立同分布于 B(1,p)B(1, p)B(1,p)，故
D(X)=∑i=1nD(Xi)=n⋅p(1−p)=np(1−p)D(X) = \sum_{i=1}^n D(X_i) = n \cdot p(1-p) = np(1-p)D(X)=i=1∑nD(Xi)=n⋅p(1−p)=np(1−p)
(3) Poisson分布 P(λ)P(\lambda)P(λ)： D(X)=λD(X) = \lambdaD(X)=λ
推导：
E(X2)=∑k=0∞k2⋅λke−λk!E(X^2) = \sum_{k=0}^{\infty} k^2 \cdot \frac{\lambda^k e^{-\lambda}}{k!}E(X2)=k=0∑∞k2⋅k!λke−λ
利用恒等式 k2=k(k−1)+kk^2 = k(k-1) + kk2=k(k−1)+k：
=∑k=0∞k(k−1)λke−λk!+∑k=0∞kλke−λk!= \sum_{k=0}^{\infty} k(k-1)\frac{\lambda^k e^{-\lambda}}{k!} + \sum_{k=0}^{\infty} k\frac{\lambda^k e^{-\lambda}}{k!}=k=0∑∞k(k−1)k!λke−λ+k=0∑∞kk!λke−λ
=λ2e−λ∑k=2∞λk−2(k−2)!+λ=λ2⋅e−λ⋅eλ+λ=λ2+λ= \lambda^2 e^{-\lambda}\sum_{k=2}^{\infty}\frac{\lambda^{k-2}}{(k-2)!} + \lambda = \lambda^2 \cdot e^{-\lambda} \cdot e^{\lambda} + \lambda = \lambda^2 + \lambda=λ2e−λk=2∑∞(k−2)!λk−2+λ=λ2⋅e−λ⋅eλ+λ=λ2+λ
D(X)=E(X2)−E(X)2=λ2+λ−λ2=λD(X) = E(X^2) - E(X)^2 = \lambda^2 + \lambda - \lambda^2 = \lambdaD(X)=E(X2)−E(X)2=λ2+λ−λ2=λ
(4) 几何分布 G(p)G(p)G(p)： D(X)=1−pp2D(X) = \dfrac{1-p}{p^2}D(X)=p21−p
推导： 需要求 E(X2)E(X^2)E(X2)。先利用 EX(X−1)EX(X-1)EX(X−1)：
EX(X−1)=∑k=2∞k(k−1)qk−1p=pq∑k=2∞k(k−1)qk−2=pq⋅d2dq2(11−q)EX(X-1) = \sum_{k=2}^{\infty} k(k-1) q^{k-1} p = pq \sum_{k=2}^{\infty} k(k-1)q^{k-2} = pq \cdot \frac{d^2}{dq^2}\left(\frac{1}{1-q}\right)EX(X−1)=k=2∑∞k(k−1)qk−1p=pqk=2∑∞k(k−1)qk−2=pq⋅dq2d2(1−q1)
ddq11−q=1(1−q)2,d2dq211−q=2(1−q)3\frac{d}{dq}\frac{1}{1-q} = \frac{1}{(1-q)^2}, \quad \frac{d^2}{dq^2}\frac{1}{1-q} = \frac{2}{(1-q)^3}dqd1−q1=(1−q)21,dq2d21−q1=(1−q)32
EX(X−1)=pq⋅2(1−q)3=2pqp3=2qp2EX(X-1) = pq \cdot \frac{2}{(1-q)^3} = \frac{2pq}{p^3} = \frac{2q}{p^2}EX(X−1)=pq⋅(1−q)32=p32pq=p22q
E(X2)=EX(X−1)+E(X)=2qp2+1p=2q+pp2=q+1p2E(X^2) = EX(X-1) + E(X) = \frac{2q}{p^2} + \frac{1}{p} = \frac{2q + p}{p^2} = \frac{q + 1}{p^2}E(X2)=EX(X−1)+E(X)=p22q+p1=p22q+p=p2q+1
D(X)=E(X2)−E(X)2=q+1p2−1p2=qp2=1−pp2D(X) = E(X^2) - E(X)^2 = \frac{q+1}{p^2} - \frac{1}{p^2} = \frac{q}{p^2} = \frac{1-p}{p^2}D(X)=E(X2)−E(X)2=p2q+1−p21=p2q=p21−p
(5) 均匀分布 U(a,b)U(a, b)U(a,b)： D(X)=(b−a)212D(X) = \dfrac{(b-a)^2}{12}D(X)=12(b−a)2
E(X2)=∫abx2⋅1b−a dx=1b−a⋅b3−a33=b2+ab+a23E(X^2) = \int_a^b x^2 \cdot \frac{1}{b-a}\,dx = \frac{1}{b-a} \cdot \frac{b^3 - a^3}{3} = \frac{b^2 + ab + a^2}{3}E(X2)=∫abx2⋅b−a1dx=b−a1⋅3b3−a3=3b2+ab+a2
D(X)=a2+ab+b23−(a+b2)2=a2+ab+b23−a2+2ab+b24D(X) = \frac{a^2 + ab + b^2}{3} - \left(\frac{a+b}{2}\right)^2 = \frac{a^2+ab+b^2}{3} - \frac{a^2+2ab+b^2}{4}D(X)=3a2+ab+b2−(2a+b)2=3a2+ab+b2−4a2+2ab+b2
=4(a2+ab+b2)−3(a2+2ab+b2)12=a2−2ab+b212=(b−a)212= \frac{4(a^2+ab+b^2) - 3(a^2+2ab+b^2)}{12} = \frac{a^2 - 2ab + b^2}{12} = \frac{(b-a)^2}{12}=124(a2+ab+b2)−3(a2+2ab+b2)=12a2−2ab+b2=12(b−a)2
(6) 指数分布 Exp(λ)Exp(\lambda)Exp(λ)： D(X)=1λ2D(X) = \dfrac{1}{\lambda^2}D(X)=λ21
E(X2)=∫0+∞x2λe−λx dx=2λ2（两次分部积分或利用 Gamma 函数）E(X^2) = \int_0^{+\infty} x^2 \lambda e^{-\lambda x}\,dx = \frac{2}{\lambda^2} \quad \text{（两次分部积分或利用 Gamma 函数）}E(X2)=∫0+∞x2λe−λxdx=λ22（两次分部积分或利用 Gamma 函数）
D(X)=2λ2−1λ2=1λ2D(X) = \frac{2}{\lambda^2} - \frac{1}{\lambda^2} = \frac{1}{\lambda^2}D(X)=λ22−λ21=λ21
(7) 正态分布 N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2)： D(X)=σ2D(X) = \sigma^2D(X)=σ2
证明：
D(X)=E(X−μ)2=∫−∞+∞(x−μ)2⋅12πσe−(x−μ)22σ2 dxD(X) = E(X-\\mu)\^2 = \int_{-\infty}^{+\infty}(x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\,dxD(X)=E(X−μ)2=∫−∞+∞(x−μ)2⋅2π σ1e−2σ2(x−μ)2dx
令 t=x−μσt = \dfrac{x-\mu}{\sigma}t=σx−μ：
=σ2∫−∞+∞t2⋅12πe−t2/2 dt= \sigma^2 \int_{-\infty}^{+\infty} t^2 \cdot \frac{1}{\sqrt{2\pi}} e^{-t^2/2}\,dt=σ2∫−∞+∞t2⋅2π 1e−t2/2dt
对 ∫−∞+∞t2e−t2/2 dt\displaystyle\int_{-\infty}^{+\infty} t^2 e^{-t^2/2}\,dt∫−∞+∞t2e−t2/2dt，利用分部积分（u=t, dv=te−t2/2dtu = t,\; dv = t e^{-t^2/2}dtu=t,dv=te−t2/2dt）：
=−t e−t2/2−∞+∞+∫−∞+∞e−t2/2 dt=0+2π= \left-t\\,e\^{-t\^2/2}\\right{-\infty}^{+\infty} + \int{-\infty}^{+\infty} e^{-t^2/2}\,dt = 0 + \sqrt{2\pi}=−te−t2/2−∞+∞+∫−∞+∞e−t2/2dt=0+2π
故 D(X)=σ2⋅2π2π=σ2D(X) = \sigma^2 \cdot \dfrac{\sqrt{2\pi}}{\sqrt{2\pi}} = \sigma^2D(X)=σ2⋅2π 2π =σ2。□\square□
因此，正态分布 N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2) 的两个参数正好分别是均值和方差，参数含义非常明确。
五、切比雪夫不等式
定理： 设随机变量 XXX 的期望 E(X)=μE(X) = \muE(X)=μ，方差 D(X)=σ2D(X) = \sigma^2D(X)=σ2 均存在，则对任意 ε>0\varepsilon > 0ε>0：
P(∣X−μ∣≥ε)≤σ2ε2\boxed{P\big(|X - \mu| \geq \varepsilon\big) \leq \frac{\sigma^2}{\varepsilon^2}}P(∣X−μ∣≥ε)≤ε2σ2
或等价地：P(∣X−μ∣<ε)≥1−σ2ε2P\big(|X - \mu| < \varepsilon\big) \geq 1 - \dfrac{\sigma^2}{\varepsilon^2}P(∣X−μ∣<ε)≥1−ε2σ2
证明（连续情形）：
P(∣X−μ∣≥ε)=∫∣x−μ∣≥εf(x) dxP(|X-\mu| \geq \varepsilon) = \int_{|x-\mu|\geq\varepsilon} f(x)\,dxP(∣X−μ∣≥ε)=∫∣x−μ∣≥εf(x)dx
在积分区域内 ∣x−μ∣≥ε|x-\mu| \geq \varepsilon∣x−μ∣≥ε，故 (x−μ)2≥ε2(x-\mu)^2 \geq \varepsilon^2(x−μ)2≥ε2，即 (x−μ)2ε2≥1\dfrac{(x-\mu)^2}{\varepsilon^2} \geq 1ε2(x−μ)2≥1：
≤∫∣x−μ∣≥ε(x−μ)2ε2f(x) dx≤1ε2∫−∞+∞(x−μ)2f(x) dx=σ2ε2\leq \int_{|x-\mu|\geq\varepsilon} \frac{(x-\mu)^2}{\varepsilon^2} f(x)\,dx \leq \frac{1}{\varepsilon^2}\int_{-\infty}^{+\infty}(x-\mu)^2 f(x)\,dx = \frac{\sigma^2}{\varepsilon^2}≤∫∣x−μ∣≥εε2(x−μ)2f(x)dx≤ε21∫−∞+∞(x−μ)2f(x)dx=ε2σ2
意义： 不论分布如何，只要期望和方差存在，概率 P(∣X−μ∣≥ε)P(|X-\mu| \geq \varepsilon)P(∣X−μ∣≥ε) 就有上界。方差越小，概率越集中在均值附近。
§3 协方差与相关系数
一、协方差
定义： 设 X,YX, YX,Y 为两个随机变量，期望均存在，则
Cov(X,Y)=E(X−E(X))(Y−E(Y))\mathrm{Cov}(X, Y) = E\big(X - E(X))(Y - E(Y))\\bigCov(X,Y)=E(X−E(X))(Y−E(Y))
为 X,YX, YX,Y 的协方差。
计算公式：
Cov(X,Y)=E(XY)−E(X)⋅E(Y)\boxed{\mathrm{Cov}(X, Y) = E(XY) - E(X)\cdot E(Y)}Cov(X,Y)=E(XY)−E(X)⋅E(Y)
推导：
Cov(X,Y)=E(X−μX)(Y−μY)\mathrm{Cov}(X,Y) = E\big(X-\\mu_X)(Y-\\mu_Y)\\bigCov(X,Y)=E(X−μX)(Y−μY)
=EXY−μXY−XμY+μXμY= E\bigXY - \\mu_X Y - X\\mu_Y + \\mu_X\\mu_Y\\big=EXY−μXY−XμY+μXμY
=E(XY)−μXE(Y)−μYE(X)+μXμY= E(XY) - \mu_X E(Y) - \mu_Y E(X) + \mu_X\mu_Y=E(XY)−μXE(Y)−μYE(X)+μXμY
=E(XY)−μXμY−μXμY+μXμY=E(XY)−E(X)E(Y)= E(XY) - \mu_X\mu_Y - \mu_X\mu_Y + \mu_X\mu_Y = E(XY) - E(X)E(Y)=E(XY)−μXμY−μXμY+μXμY=E(XY)−E(X)E(Y)
由此可知： X,YX, YX,Y 独立 ⇒\Rightarrow⇒ Cov(X,Y)=0\mathrm{Cov}(X,Y) = 0Cov(X,Y)=0。但反之不成立（独立是协方差为零的充分非必要条件）。
二、协方差的性质
(1) Cov(X,Y)=Cov(Y,X)\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X)Cov(X,Y)=Cov(Y,X)（对称性）
(2) Cov(aX,bY)=ab Cov(X,Y)\mathrm{Cov}(aX, bY) = ab\,\mathrm{Cov}(X, Y)Cov(aX,bY)=abCov(X,Y)
(3) Cov(X1+X2, Y)=Cov(X1,Y)+Cov(X2,Y)\mathrm{Cov}(X_1 + X_2,\; Y) = \mathrm{Cov}(X_1, Y) + \mathrm{Cov}(X_2, Y)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
(4) Cov(X,X)=D(X)\mathrm{Cov}(X, X) = D(X)Cov(X,X)=D(X)
(5) 方差与协方差的关系（重要公式）：
D(X±Y)=D(X)+D(Y)±2 Cov(X,Y)\boxed{D(X \pm Y) = D(X) + D(Y) \pm 2\,\mathrm{Cov}(X, Y)}D(X±Y)=D(X)+D(Y)±2Cov(X,Y)
证明：
D(X+Y)=E(X+Y−μX−μY)2D(X+Y) = E\big(X+Y - \\mu_X - \\mu_Y)\^2\\bigD(X+Y)=E(X+Y−μX−μY)2
=E(X−μX)2+E(Y−μY)2+2E(X−μX)(Y−μY)= E\big(X-\\mu_X)\^2\\big + E\big(Y-\\mu_Y)\^2\\big + 2E\big(X-\\mu_X)(Y-\\mu_Y)\\big=E(X−μX)2+E(Y−μY)2+2E(X−μX)(Y−μY)
=D(X)+D(Y)+2 Cov(X,Y)= D(X) + D(Y) + 2\,\mathrm{Cov}(X,Y)=D(X)+D(Y)+2Cov(X,Y)
三、相关系数
定义： 设 D(X)>0, D(Y)>0D(X) > 0,\; D(Y) > 0D(X)>0,D(Y)>0，则
ρXY=Cov(X,Y)D(X)⋅D(Y)\boxed{\rho_{XY} = \frac{\mathrm{Cov}(X, Y)}{\sqrt{D(X)}\cdot\sqrt{D(Y)}}}ρXY=D(X) ⋅D(Y) Cov(X,Y)
为 X,YX, YX,Y 的相关系数（Pearson相关系数）。
本质： 相关系数是"标准化"后的协方差，即令 X∗=X−E(X)D(X)X^* = \dfrac{X - E(X)}{\sqrt{D(X)}}X∗=D(X) X−E(X)，Y∗=Y−E(Y)D(Y)Y^* = \dfrac{Y - E(Y)}{\sqrt{D(Y)}}Y∗=D(Y) Y−E(Y)，则 ρXY=Cov(X∗,Y∗)\rho_{XY} = \mathrm{Cov}(X^*, Y^*)ρXY=Cov(X∗,Y∗)。
四、相关系数的性质
定理： ∣ρXY∣≤1|\rho_{XY}| \leq 1∣ρXY∣≤1，且 ∣ρXY∣=1|\rho_{XY}| = 1∣ρXY∣=1 的充要条件是 XXX 与 YYY 之间存在线性关系 ，即 P(Y=aX+b)=1P(Y = aX + b) = 1P(Y=aX+b)=1，其中：
- ρXY=1\rho_{XY} = 1ρXY=1 时，a>0a > 0a>0（完全正线性相关）
- ρXY=−1\rho_{XY} = -1ρXY=−1 时，a<0a < 0a<0（完全负线性相关）
证明 ∣ρXY∣≤1|\rho_{XY}| \leq 1∣ρXY∣≤1：
令 U=X−E(X), V=Y−E(Y)U = X - E(X),\; V = Y - E(Y)U=X−E(X),V=Y−E(Y)，考虑 ttt 的函数：
g(t)=E(U−tV)2=E(U2)−2t E(UV)+t2E(V2)g(t) = E\big(U - tV)\^2\\big = E(U^2) - 2t\,E(UV) + t^2 E(V^2)g(t)=E(U−tV)2=E(U2)−2tE(UV)+t2E(V2)
=D(X)−2t Cov(X,Y)+t2D(Y)≥0∀ t= D(X) - 2t\,\mathrm{Cov}(X,Y) + t^2 D(Y) \geq 0 \quad \forall\, t=D(X)−2tCov(X,Y)+t2D(Y)≥0∀t
这是一个关于 ttt 的二次函数恒非负，故判别式 Δ≤0\Delta \leq 0Δ≤0：
2 Cov(X,Y)2−4 D(Y)⋅D(X)≤02\\,\\mathrm{Cov}(X,Y)^2 - 4\,D(Y)\cdot D(X) \leq 02Cov(X,Y)2−4D(Y)⋅D(X)≤0
Cov(X,Y)2≤D(X)⋅D(Y)\\mathrm{Cov}(X,Y)^2 \leq D(X) \cdot D(Y)Cov(X,Y)2≤D(X)⋅D(Y)
ρXY2=Cov(X,Y)2D(X)⋅D(Y)≤1\rho_{XY}^2 = \frac{\\mathrm{Cov}(X,Y)^2}{D(X)\cdot D(Y)} \leq 1ρXY2=D(X)⋅D(Y)Cov(X,Y)2≤1
故 ∣ρXY∣≤1|\rho_{XY}| \leq 1∣ρXY∣≤1。□\square□
证明 ∣ρXY∣=1⇔Y=aX+b|\rho_{XY}| = 1 \Leftrightarrow Y = aX + b∣ρXY∣=1⇔Y=aX+b：
∣ρXY∣=1⇔Δ=0⇔|\rho_{XY}| = 1 \Leftrightarrow \Delta = 0 \Leftrightarrow∣ρXY∣=1⇔Δ=0⇔ 存在 t0t_0t0 使 E(U−t0V)2=0E(U - t_0 V)\^2 = 0E(U−t0V)2=0。
由于 E(U−t0V)2=D(U−t0V)=0E(U-t_0V)\^2 = D(U - t_0 V) = 0E(U−t0V)2=D(U−t0V)=0，而方差为零意味着 U−t0VU - t_0VU−t0V 几乎必然为常数。
设 U−t0V=cU - t_0 V = cU−t0V=c（常数），即 (X−μX)−t0(Y−μY)=c(X - \mu_X) - t_0(Y - \mu_Y) = c(X−μX)−t0(Y−μY)=c，整理得 X=t0Y+(μX−t0μY+c)X = t_0 Y + (\mu_X - t_0\mu_Y + c)X=t0Y+(μX−t0μY+c)，即 XXX 与 YYY 之间存在线性关系。□\square□
五、不相关与独立的关系
- X,YX, YX,Y 独立 ⇒\Rightarrow⇒ ρXY=0\rho_{XY} = 0ρXY=0（即 X,YX, YX,Y 不相关）
- 但 ρXY=0\rho_{XY} = 0ρXY=0 ⇏\not\Rightarrow⇒ X,YX, YX,Y 独立
反例： 设 X∼U(−1,1)X \sim U(-1, 1)X∼U(−1,1)，Y=X2Y = X^2Y=X2。
E(X)=0,E(XY)=E(X3)=∫−11x3⋅12 dx=0E(X) = 0,\quad E(XY) = E(X^3) = \int_{-1}^{1} x^3 \cdot \frac{1}{2}\,dx = 0E(X)=0,E(XY)=E(X3)=∫−11x3⋅21dx=0
Cov(X,Y)=E(XY)−E(X)E(Y)=0−0=0\mathrm{Cov}(X,Y) = E(XY) - E(X)E(Y) = 0 - 0 = 0Cov(X,Y)=E(XY)−E(X)E(Y)=0−0=0
故 ρXY=0\rho_{XY} = 0ρXY=0（不相关），但 Y=X2Y = X^2Y=X2 显然不独立。
特殊情形： 对于二维正态分布 (X,Y)∼N(μ1,μ2,σ12,σ22,ρ)(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)(X,Y)∼N(μ1,μ2,σ12,σ22,ρ)，不相关等价于独立。