6.3 独立随机变量的和
当两个随机变量 X 和 Y 相互独立时,研究其和 X+Y 的分布是概率论中的一个重要问题。特别地,若 X 和 Y 是连续型随机变量,且密度函数分别为 f_X(x) 和 f_Y(y) ,则可以通过卷积方法求得 X+Y 的分布。
设 X 和 Y 为相互独立的连续型随机变量,密度函数分别为 f_X 和 f_Y 。则 X+Y 的累积分布函数为:
FX+Y(a)=P{X+Y≤a}=∬x+y≤afX(x)fY(y) dx dy F_{X+Y}(a) = P\{X + Y \leq a\} = \iint_{x+y \leq a} f_X(x) f_Y(y) \, dx\,dy FX+Y(a)=P{X+Y≤a}=∬x+y≤afX(x)fY(y)dxdy
通过变量变换可得:
FX+Y(a)=∫−∞∞∫−∞a−yfX(x)fY(y) dx dy=∫−∞∞(∫−∞a−yfX(x) dx)fY(y) dy F_{X+Y}(a) = \int_{-\infty}^{\infty} \int_{-\infty}^{a - y} f_X(x) f_Y(y) \, dx\,dy = \int_{-\infty}^{\infty} \left( \int_{-\infty}^{a - y} f_X(x)\,dx \right) f_Y(y)\,dy FX+Y(a)=∫−∞∞∫−∞a−yfX(x)fY(y)dxdy=∫−∞∞(∫−∞a−yfX(x)dx)fY(y)dy
=∫−∞∞FX(a−y)fY(y) dy(3.1) = \int_{-\infty}^{\infty} F_X(a - y) f_Y(y)\,dy \tag{3.1} =∫−∞∞FX(a−y)fY(y)dy(3.1)
此式表明, F_{X+Y} 是 F_X 与 F_Y 的卷积(convolution)。
对 F_{X+Y}(a) 关于 a 求导,得到 X+Y 的概率密度函数:
fX+Y(a)=dda∫−∞∞FX(a−y)fY(y) dy=∫−∞∞ddaFX(a−y)fY(y) dy f_{X+Y}(a) = \frac{d}{da} \int_{-\infty}^{\infty} F_X(a - y) f_Y(y)\,dy = \int_{-\infty}^{\infty} \frac{d}{da} F_X(a - y) f_Y(y)\,dy fX+Y(a)=dad∫−∞∞FX(a−y)fY(y)dy=∫−∞∞dadFX(a−y)fY(y)dy
由于 \\frac{d}{da} F_X(a - y) = f_X(a - y) ,因此:
fX+Y(a)=∫−∞∞fX(a−y)fY(y) dy(3.2) f_{X+Y}(a) = \int_{-\infty}^{\infty} f_X(a - y) f_Y(y)\,dy \tag{3.2} fX+Y(a)=∫−∞∞fX(a−y)fY(y)dy(3.2)
结论 :独立连续随机变量之和的密度函数为其各自密度函数的卷积。
6.3.1 均匀随机变量
三角分布
例 3a:两个独立 (0,1) 均匀随机变量之和的密度函数
设 X 和 Y 为独立随机变量,均服从 (0,1) 上的均匀分布,即:
fX(x)=fY(y)={1,0<x<10,否则 f_X(x) = f_Y(y) = \begin{cases} 1, & 0 < x < 1 \\ 0, & \text{否则} \end{cases} fX(x)=fY(y)={1,0,0<x<1否则
由公式 (3.2) 得:
fX+Y(a)=∫−∞∞fX(a−y)fY(y) dy=∫y:fY(y)>0fX(a−y)fY(y) dy(因为其他地方为0)=∫01fX(a−y)⋅1 dy(因为 fY(y)=1 在 (0,1)) \begin{aligned} f_{X+Y}(a) &= \int_{-\infty}^{\infty} f_X(a - y) f_Y(y)\,dy \\ &= \int_{y: f_Y(y) > 0} f_X(a - y) f_Y(y)\,dy \quad \text{(因为其他地方为0)} \\ &= \int_0^1 f_X(a - y) \cdot 1\,dy \quad \text{(因为 } f_Y(y)=1 \text{ 在 } (0,1)) \end{aligned} fX+Y(a)=∫−∞∞fX(a−y)fY(y)dy=∫y:fY(y)>0fX(a−y)fY(y)dy(因为其他地方为0)=∫01fX(a−y)⋅1dy(因为 fY(y)=1 在 (0,1))
考虑不同区间:
-
当 0 \\leq a \\leq 1 时, a - y \\in (0,1) 要求 y \< a ,所以积分区间为 y \\in (0,a) :
fX+Y(a)=∫0a1 dy=a f_{X+Y}(a) = \int_0^a 1\,dy = a fX+Y(a)=∫0a1dy=a -
当 1 \< a \< 2 时, a - y \\in (0,1) 要求 a - 1 \< y \< 1 ,所以积分区间为 y \\in (a - 1, 1) :
fX+Y(a)=∫a−111 dy=2−a f_{X+Y}(a) = \int_{a-1}^1 1\,dy = 2 - a fX+Y(a)=∫a−111dy=2−a -
当 a \\leq 0 或 a \\geq 2 时,积分为 0。
综上:
fX+Y(a)={a,0≤a≤12−a,1<a<20,其他(*) f_{X+Y}(a) = \begin{cases} a, & 0 \leq a \leq 1 \\ 2 - a, & 1 < a < 2 \\ 0, & \text{其他} \end{cases} \tag{*} fX+Y(a)=⎩ ⎨ ⎧a,2−a,0,0≤a≤11<a<2其他(*)
该密度函数图像呈三角形,故称为 三角分布(triangular distribution)。
n 个独立 (0,1) 均匀随机变量之和的分布函数
令 X_1, X_2, \\ldots, X_n 为独立同分布于 (0,1) 的均匀随机变量。定义:
Fn(x)=P{∑i=1nXi≤x},x≥0 F_n(x) = P\left\{ \sum_{i=1}^n X_i \leq x \right\}, \quad x \geq 0 Fn(x)=P{i=1∑nXi≤x},x≥0
我们用数学归纳法证明:
定理 :当 0 \\leq x \\leq 1 时,有
Fn(x)=xnn! F_n(x) = \frac{x^n}{n!} Fn(x)=n!xn!NOTE
FX(x)={0,x≤0x,0<x<11,x≥1 F_X(x) = \begin{cases} 0, & x \leq 0 \\ x, & 0 < x < 1 \\ 1, & x \geq 1 \end{cases} FX(x)=⎩ ⎨ ⎧0,x,1,x≤00<x<1x≥1
证明:
-
基础情形 : n = 1 ,,, X_1 \\sim U(0,1) ,则 F_1(x) = P(X_1 \\leq x) = x = \\frac{x\^1}{1!} ,成立。
-
归纳假设 :假设对 n-1 成立,即
Fn−1(x)=xn−1(n−1)!,0≤x≤1 F_{n-1}(x) = \frac{x^{n-1}}{(n-1)!}, \quad 0 \leq x \leq 1 Fn−1(x)=(n−1)!xn−1,0≤x≤1 -
归纳步骤:
要证:
Fn(x)=P(∑i=1nXi≤x)=P(∑i=1n−1Xi+Xn≤x) F_n(x) = P\left( \sum_{i=1}^n X_i \leq x \right) = P\left( \sum_{i=1}^{n-1} X_i + X_n \leq x \right) Fn(x)=P(i=1∑nXi≤x)=P(i=1∑n−1Xi+Xn≤x)记:
- S_{n-1} = \\sum_{i=1}\^{n-1} X_i
- Y = X_n \\sim U(0,1) ,与 S_{n-1} 独立
需证
FSn−1+Y(x)=P(Sn−1+Y≤x) F_{S_{n-1} + Y}(x) = P(S_{n-1} + Y \leq x) FSn−1+Y(x)=P(Sn−1+Y≤x)根据**卷积公式 (3.1)**有:
FSn−1+Y(x)=∫−∞∞FSn−1(x−y)fY(y) dy F_{S_{n-1} + Y}(x) = \int_{-\infty}^{\infty} F_{S_{n-1}}(x - y) f_Y(y)\,dy FSn−1+Y(x)=∫−∞∞FSn−1(x−y)fY(y)dy
代入:
- f_Y(y) = 1 当 0 \< y \< 1 ,否则为 0
- 所以积分只需在 y \\in (0,1)
Fn(x)=∫01Fn−1(x−y) dy F_n(x) = \int_0^1 F_{n-1}(x - y)\,dy Fn(x)=∫01Fn−1(x−y)dy
对 F_{n-1}(x - y) 分析
由上文可知:
- 如果 z \< 0 ,则 F_{n-1}(z) = 0
- 如果 0 \\leq z \\leq 1 ,则 F_{n-1}(z) = \\frac{z\^{n-1}}{(n-1)!}
- 如果 z \> 1 ,但我们不关心,因为这里 x \\leq 1 ,,, y \> 0 ,所以 x - y \< 1
现在看:
- 当 y \> x ,则 x - y \< 0 → F_{n-1}(x - y) = 0
- 当 y \\leq x ,则 x - y \\geq 0 ,且 x - y \\leq x \\leq 1 → 可用归纳假设
所以:
Fn−1(x−y)={(x−y)n−1(n−1)!,0<y<x0,y>x F_{n-1}(x - y) = \begin{cases} \frac{(x - y)^{n-1}}{(n-1)!}, & 0 < y < x \\ 0, & y > x \end{cases} Fn−1(x−y)={(n−1)!(x−y)n−1,0,0<y<xy>x因此,积分可以截断到 y \\in (0, x) :
Fn(x)=∫0xFn−1(x−y) dy=∫0x(x−y)n−1(n−1)! dy F_n(x) = \int_0^x F_{n-1}(x - y)\,dy = \int_0^x \frac{(x - y)^{n-1}}{(n-1)!}\,dy Fn(x)=∫0xFn−1(x−y)dy=∫0x(n−1)!(x−y)n−1dy
令 u = x - y ,则:
- y = 0 \\Rightarrow u = x
- y = x \\Rightarrow u = 0
- dy = -du
所以:
Fn(x)=∫u=xu=0un−1(n−1)!(−du)=∫0xun−1(n−1)! du F_n(x) = \int_{u=x}^{u=0} \frac{u^{n-1}}{(n-1)!} (-du) = \int_0^x \frac{u^{n-1}}{(n-1)!}\,du Fn(x)=∫u=xu=0(n−1)!un−1(−du)=∫0x(n−1)!un−1du
=1(n−1)!∫0xun−1 du=1(n−1)!⋅xnn=xnn! = \frac{1}{(n-1)!} \int_0^x u^{n-1}\,du = \frac{1}{(n-1)!} \cdot \frac{x^n}{n} = \frac{x^n}{n!} =(n−1)!1∫0xun−1du=(n−1)!1⋅nxn=n!xn
得证
应用:求 E\[N\] :平均需要多少个 (0,1) 均匀随机变量之和首次超过 1
设 X_1, X_2, \\ldots 是独立同分布于 (0,1) 的均匀随机变量。定义:
N=min{n≥1:X1+X2+⋯+Xn>1} N = \min\{ n \geq 1 : X_1 + X_2 + \cdots + X_n > 1 \} N=min{n≥1:X1+X2+⋯+Xn>1}
即: N 是使得前 n 个随机变量之和首次超过 1 的最小正整数。
事件 {N \> n} 表示:"前 n 个变量之和仍未超过 1",即:
P{N>n}=P(∑i=1nXi≤1) P\{N > n\} = P\left( \sum_{i=1}^n X_i \leq 1 \right) P{N>n}=P(i=1∑nXi≤1)
记 F_n(x) = P\\left( \\sum_{i=1}\^n X_i \\leq x \\right) ,则:
P{N>n}=Fn(1) P\{N > n\} = F_n(1) P{N>n}=Fn(1)
由前面已证结论(数学归纳法):
当 0 \\leq x \\leq 1 时,有 F_n(x) = \\dfrac{x\^n}{n!}
取 x = 1 ,得:
Fn(1)=1nn!=1n! F_n(1) = \frac{1^n}{n!} = \frac{1}{n!} Fn(1)=n!1n=n!1
因此:
P{N>n}=1n!,对所有 n≥0 \boxed{P\{N > n\} = \frac{1}{n!}, \quad \text{对所有 } n \geq 0} P{N>n}=n!1,对所有 n≥0
求 P{N = n}
利用恒等式:
P{N=n}=P{N>n−1}−P{N>n} P\{N = n\} = P\{N > n - 1\} - P\{N > n\} P{N=n}=P{N>n−1}−P{N>n}
代入 P{N \> n} = \\frac{1}{n!} ,得:
P{N=n}=1(n−1)!−1n!=nn!−1n!=n−1n!,n≥1 P\{N = n\} = \frac{1}{(n-1)!} - \frac{1}{n!} = \frac{n}{n!} - \frac{1}{n!} = \frac{n - 1}{n!}, \quad n \geq 1 P{N=n}=(n−1)!1−n!1=n!n−n!1=n!n−1,n≥1
由于 N 是取正整数值的随机变量,其期望可用以下公式计算:
E[N]=∑n=1∞n⋅P{N=n} E[N] = \sum_{n=1}^{\infty} n \cdot P\{N = n\} E[N]=n=1∑∞n⋅P{N=n}
代入 P{N = n} = \\dfrac{1}{(n-1)!} - \\dfrac{1}{n!} :
E[N]=∑n=1∞n(1(n−1)!−1n!) E[N] = \sum_{n=1}^{\infty} n \left( \frac{1}{(n-1)!} - \frac{1}{n!} \right) E[N]=n=1∑∞n((n−1)!1−n!1)
展开:
=∑n=1∞(n(n−1)!−nn!)=∑n=1∞(n(n−1)!−1(n−1)!)=∑n=1∞n−1(n−1)! = \sum_{n=1}^{\infty} \left( \frac{n}{(n-1)!} - \frac{n}{n!} \right) = \sum_{n=1}^{\infty} \left( \frac{n}{(n-1)!} - \frac{1}{(n-1)!} \right) = \sum_{n=1}^{\infty} \frac{n - 1}{(n-1)!} =n=1∑∞((n−1)!n−n!n)=n=1∑∞((n−1)!n−(n−1)!1)=n=1∑∞(n−1)!n−1
令 k = n - 1 ,则当 n = 1 时 k = 0 ,有:
E[N]=∑k=0∞kk! E[N] = \sum_{k=0}^{\infty} \frac{k}{k!} E[N]=k=0∑∞k!k
注意:当 k = 0 时, \\frac{k}{k!} = 0 ,所以可从 k = 1 开始:
=∑k=1∞kk!=∑k=1∞1(k−1)! = \sum_{k=1}^{\infty} \frac{k}{k!} = \sum_{k=1}^{\infty} \frac{1}{(k-1)!} =k=1∑∞k!k=k=1∑∞(k−1)!1
再令 m = k - 1 ,得:
E[N]=∑m=0∞1m!=e E[N] = \sum_{m=0}^{\infty} \frac{1}{m!} = e E[N]=m=0∑∞m!1=e
E[N]=e≈2.71828 \boxed{E[N] = e \approx 2.71828} E[N]=e≈2.71828
6.3.2 Γ 随机变量
Γ 分布的概率密度函数为:
!NOTE
对于 t \> 0 ,伽玛函数定义为:
Γ(t)=∫0∞xt−1e−x dx \Gamma(t) = \int_0^\infty x^{t-1} e^{-x} \, dx Γ(t)=∫0∞xt−1e−xdx
这个积分对所有 t \> 0 都收敛。
当 t 是正整数时,有:
Γ(n)=(n−1)! \Gamma(n) = (n-1)! Γ(n)=(n−1)!
f(y)=λe−λy(λy)t−1Γ(t),y>0 f(y) = \frac{\lambda e^{-\lambda y} (\lambda y)^{t-1}}{\Gamma(t)}, \quad y > 0 f(y)=Γ(t)λe−λy(λy)t−1,y>0
参数为 (t, \\lambda) ,记作 Y \\sim \\Gamma(t, \\lambda) 。
命题 3.1(Γ 分布在卷积下封闭)
若 X \\sim \\Gamma(s, \\lambda) ,,, Y \\sim \\Gamma(t, \\lambda) ,且 X,Y 独立,则 X+Y \\sim \\Gamma(s+t, \\lambda)
证明:
由卷积公式 (3.2):
fX+Y(a)=∫0afX(a−y)fY(y) dy f_{X+Y}(a) = \int_0^a f_X(a - y) f_Y(y)\,dy fX+Y(a)=∫0afX(a−y)fY(y)dy
代入密度函数:
fX+Y(a)=∫0aλe−λ(a−y)[λ(a−y)]s−1Γ(s)⋅λe−λy(λy)t−1Γ(t) dy f_{X+Y}(a) = \int_0^a \frac{\lambda e^{-\lambda(a-y)} [\lambda(a-y)]^{s-1}}{\Gamma(s)} \cdot \frac{\lambda e^{-\lambda y} (\lambda y)^{t-1}}{\Gamma(t)}\,dy fX+Y(a)=∫0aΓ(s)λe−λ(a−y)[λ(a−y)]s−1⋅Γ(t)λe−λy(λy)t−1dy
=λs+te−λaΓ(s)Γ(t)∫0a(a−y)s−1yt−1 dy = \frac{\lambda^{s+t} e^{-\lambda a}}{\Gamma(s)\Gamma(t)} \int_0^a (a - y)^{s-1} y^{t-1}\,dy =Γ(s)Γ(t)λs+te−λa∫0a(a−y)s−1yt−1dy
令 y = a x ,则 dy = a dx ,积分变为:
∫0a(a−y)s−1yt−1 dy=as+t−1∫01(1−x)s−1xt−1 dx=as+t−1B(s,t) \int_0^a (a - y)^{s-1} y^{t-1}\,dy = a^{s+t-1} \int_0^1 (1 - x)^{s-1} x^{t-1}\,dx = a^{s+t-1} B(s,t) ∫0a(a−y)s−1yt−1dy=as+t−1∫01(1−x)s−1xt−1dx=as+t−1B(s,t)
其中 B(s,t) = \\frac{\\Gamma(s)\\Gamma(t)}{\\Gamma(s+t)} 是 Beta 函数。
代入得:
fX+Y(a)=λs+te−λaΓ(s)Γ(t)⋅as+t−1⋅Γ(s)Γ(t)Γ(s+t)=λe−λa(λa)s+t−1Γ(s+t) f_{X+Y}(a) = \frac{\lambda^{s+t} e^{-\lambda a}}{\Gamma(s)\Gamma(t)} \cdot a^{s+t-1} \cdot \frac{\Gamma(s)\Gamma(t)}{\Gamma(s+t)} = \frac{\lambda e^{-\lambda a} (\lambda a)^{s+t-1}}{\Gamma(s+t)} fX+Y(a)=Γ(s)Γ(t)λs+te−λa⋅as+t−1⋅Γ(s+t)Γ(s)Γ(t)=Γ(s+t)λe−λa(λa)s+t−1
即 X+Y \\sim \\Gamma(s+t, \\lambda)
得证
推论:
若 X_i \\sim \\Gamma(t_i, \\lambda) ,且独立,则:
∑i=1nXi∼Γ(∑i=1nti,λ) \sum_{i=1}^n X_i \sim \Gamma\left( \sum_{i=1}^n t_i, \lambda \right) i=1∑nXi∼Γ(i=1∑nti,λ)
例 3b :设 X_1, \\ldots, X_n 为独立同分布指数随机变量,参数 \\lambda ,则每个 X_i \\sim \\Gamma(1, \\lambda) ,故:
∑i=1nXi∼Γ(n,λ) \sum_{i=1}^n X_i \sim \Gamma(n, \lambda) i=1∑nXi∼Γ(n,λ)
卡方分布与 Γ 分布的关系
设 Z_1, \\ldots, Z_n 为独立标准正态随机变量,定义:
Y=∑i=1nZi2∼χ2(n) Y = \sum_{i=1}^n Z_i^2 \sim \chi^2(n) Y=i=1∑nZi2∼χ2(n)
当 n = 1 ,,, Y = Z_1\^2 ,计算其密度函数
设 Z \\sim N(0, 1) ,即标准正态分布:
fZ(z)=12πe−z2/2,−∞<z<∞ f_Z(z) = \frac{1}{\sqrt{2\pi}} e^{-z^2/2}, \quad -\infty < z < \infty fZ(z)=2π 1e−z2/2,−∞<z<∞
定义:
Y=Z2 Y = Z^2 Y=Z2
求 Y 的概率密度函数 f_Y(y) ,并证明:
fY(y)=12π⋅e−y/2y,y>0 f_Y(y) = \frac{1}{\sqrt{2\pi}} \cdot \frac{e^{-y/2}}{\sqrt{y}}, \quad y > 0 fY(y)=2π 1⋅y e−y/2,y>0
第一步:求 F_Y(y) $
对于 y \> 0 :
FY(y)=P(Y≤y)=P(Z2≤y)=P(−y≤Z≤y) F_Y(y) = P(Y \leq y) = P(Z^2 \leq y) = P(-\sqrt{y} \leq Z \leq \sqrt{y}) FY(y)=P(Y≤y)=P(Z2≤y)=P(−y ≤Z≤y )
利用标准正态分布的对称性:
FY(y)=∫−yyfZ(z) dz=∫−yy12πe−z2/2 dz F_Y(y) = \int_{-\sqrt{y}}^{\sqrt{y}} f_Z(z)\,dz = \int_{-\sqrt{y}}^{\sqrt{y}} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz FY(y)=∫−y y fZ(z)dz=∫−y y 2π 1e−z2/2dz
由于被积函数是偶函数,可化简为:
FY(y)=2∫0y12πe−z2/2 dz F_Y(y) = 2 \int_0^{\sqrt{y}} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz FY(y)=2∫0y 2π 1e−z2/2dz
fY(y)=ddyFY(y)=ddy[2∫0y12πe−z2/2 dz] f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} \left[ 2 \int_0^{\sqrt{y}} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz \right] fY(y)=dydFY(y)=dyd[2∫0y 2π 1e−z2/2dz]
使用变上限积分求导法则:
!TIP
变限积分是指:积分的上限或下限是变量,而不是常数。
例如:
F(x)=∫0xet2dt或G(x)=∫x2xsin(t)dt F(x) = \int_0^x e^{t^2} dt \quad \text{或} \quad G(x) = \int_x^{2x} \sin(t) dt F(x)=∫0xet2dt或G(x)=∫x2xsin(t)dt
这里的积分上限或下限依赖于 x ,所以 F(x) 和 G(x) 都是关于 x 的函数。
如果:
F(x)=∫au(x)f(t) dt F(x) = \int_a^{u(x)} f(t)\,dt F(x)=∫au(x)f(t)dt那么:
ddxF(x)=f(u(x))⋅u′(x) \frac{d}{dx} F(x) = f(u(x)) \cdot u'(x) dxdF(x)=f(u(x))⋅u′(x)F(x)=∫0x2e−tdt⇒F′(x)=e−(x2)⋅(2x)=2xe−x2 F(x) = \int_0^{x^2} e^{-t} dt \Rightarrow F'(x) = e^{-(x^2)} \cdot (2x) = 2x e^{-x^2} F(x)=∫0x2e−tdt⇒F′(x)=e−(x2)⋅(2x)=2xe−x2
如果:
F(x)=∫v(x)bf(t) dt F(x) = \int_{v(x)}^b f(t)\,dt F(x)=∫v(x)bf(t)dt那么:
ddxF(x)=−f(v(x))⋅v′(x) \frac{d}{dx} F(x) = -f(v(x)) \cdot v'(x) dxdF(x)=−f(v(x))⋅v′(x)F(x)=∫x111+t2dt⇒F′(x)=−11+x2⋅(1)=−11+x2 F(x) = \int_x^1 \frac{1}{1+t^2} dt \Rightarrow F'(x) = -\frac{1}{1+x^2} \cdot (1) = -\frac{1}{1+x^2} F(x)=∫x11+t21dt⇒F′(x)=−1+x21⋅(1)=−1+x21
如果:
F(x)=∫v(x)u(x)f(t) dt F(x) = \int_{v(x)}^{u(x)} f(t)\,dt F(x)=∫v(x)u(x)f(t)dt那么:
ddxF(x)=f(u(x))⋅u′(x)−f(v(x))⋅v′(x)。 \frac{d}{dx} F(x) = f(u(x)) \cdot u'(x) \quad - \quad f(v(x)) \cdot v'(x)。 dxdF(x)=f(u(x))⋅u′(x)−f(v(x))⋅v′(x)。F(x)=∫xx2lnt dt⇒F′(x)=ln(x2)⋅(2x)−ln(x)⋅(12x) F(x) = \int_{\sqrt{x}}^{x^2} \ln t \, dt \Rightarrow F'(x) = \ln(x^2) \cdot (2x) - \ln(\sqrt{x}) \cdot \left( \frac{1}{2\sqrt{x}} \right) F(x)=∫x x2lntdt⇒F′(x)=ln(x2)⋅(2x)−ln(x )⋅(2x 1)
化简:
- \\ln(x\^2) = 2\\ln x
- \\ln(\\sqrt{x}) = \\frac{1}{2}\\ln x
所以:
F′(x)=(2lnx)(2x)−(12lnx)(12x)=4xlnx−lnx4x F'(x) = (2\ln x)(2x) - \left( \frac{1}{2}\ln x \right)\left( \frac{1}{2\sqrt{x}} \right) = 4x \ln x - \frac{\ln x}{4\sqrt{x}} F′(x)=(2lnx)(2x)−(21lnx)(2x 1)=4xlnx−4x lnx
令 u = \\sqrt{y} ,则:
ddy∫0yg(z) dz=g(y)⋅ddy(y)=g(y)⋅12y \frac{d}{dy} \int_0^{\sqrt{y}} g(z)\,dz = g(\sqrt{y}) \cdot \frac{d}{dy}(\sqrt{y}) = g(\sqrt{y}) \cdot \frac{1}{2\sqrt{y}} dyd∫0y g(z)dz=g(y )⋅dyd(y )=g(y )⋅2y 1
所以:
fY(y)=2⋅12πe−(y)2/2⋅12y=12π⋅e−y/2y f_Y(y) = 2 \cdot \frac{1}{\sqrt{2\pi}} e^{-(\sqrt{y})^2 / 2} \cdot \frac{1}{2\sqrt{y}} = \frac{1}{\sqrt{2\pi}} \cdot \frac{e^{-y/2}}{\sqrt{y}} fY(y)=2⋅2π 1e−(y )2/2⋅2y 1=2π 1⋅y e−y/2
得到结果:
fY(y)=12π⋅e−y/2y,y>0 \boxed{f_Y(y) = \frac{1}{\sqrt{2\pi}} \cdot \frac{e^{-y/2}}{\sqrt{y}}, \quad y > 0} fY(y)=2π 1⋅y e−y/2,y>0
对比 Γ 分布形式,可见 Z_1\^2 \\sim \\Gamma\\left( \\frac{1}{2}, \\frac{1}{2} \\right)
由于每个 Z_i\^2 \\sim \\Gamma\\left( \\frac{1}{2}, \\frac{1}{2} \\right) ,且独立,由命题 3.1:
∑i=1nZi2∼Γ(n2,12) \sum_{i=1}^n Z_i^2 \sim \Gamma\left( \frac{n}{2}, \frac{1}{2} \right) i=1∑nZi2∼Γ(2n,21)
即自由度为 n 的 \\chi\^2 分布等价于 \\Gamma\\left( \\frac{n}{2}, \\frac{1}{2} \\right)
密度函数为:
fY(y)=e−y/2yn/2−12n/2Γ(n/2),y>0 f_Y(y) = \frac{e^{-y/2} y^{n/2 - 1}}{2^{n/2} \Gamma(n/2)}, \quad y > 0 fY(y)=2n/2Γ(n/2)e−y/2yn/2−1,y>0
6.3.3 正态随机变量
线性组合
命题 3.2
若 X_i \\sim N(\\mu_i, \\sigma_i\^2) ,且相互独立,则 \\sum_{i=1}\^n X_i \\sim N\\left( \\sum_{i=1}\^n \\mu_i, \\sum_{i=1}\^n \\sigma_i\^2 \\right)
证明(以 n=2 为例):
先考虑 X \\sim N(0, \\sigma\^2) ,,, Y \\sim N(0,1) ,独立。
由卷积公式:
fX+Y(a)=∫−∞∞fX(a−y)fY(y) dy f_{X+Y}(a) = \int_{-\infty}^{\infty} f_X(a - y) f_Y(y)\,dy fX+Y(a)=∫−∞∞fX(a−y)fY(y)dy
=∫−∞∞12πσ2e−(a−y)2/(2σ2)⋅12πe−y2/2 dy = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-(a-y)^2/(2\sigma^2)} \cdot \frac{1}{\sqrt{2\pi}} e^{-y^2/2} \,dy =∫−∞∞2πσ2 1e−(a−y)2/(2σ2)⋅2π 1e−y2/2dy
合并指数项:
=12πσexp(−a22σ2)∫−∞∞exp(−[(a−y)22σ2+y22])dy = \frac{1}{2\pi\sigma} \exp\left( -\frac{a^2}{2\sigma^2} \right) \int_{-\infty}^{\infty} \exp\left( -\left[ \frac{(a-y)^2}{2\sigma^2} + \frac{y^2}{2} \right] \right) dy =2πσ1exp(−2σ2a2)∫−∞∞exp(−[2σ2(a−y)2+2y2])dy
展开平方项并配方,最终可得:
fX+Y(a)=C⋅exp(−a22(1+σ2)) f_{X+Y}(a) = C \cdot \exp\left( -\frac{a^2}{2(1 + \sigma^2)} \right) fX+Y(a)=C⋅exp(−2(1+σ2)a2)
说明 X+Y \\sim N(0, 1+\\sigma\^2)
推广到一般情况有
设 X_1 \\sim N(\\mu_1, \\sigma_1\^2) ,,, X_2 \\sim N(\\mu_2, \\sigma_2\^2) ,独立。
我们想证:
X1+X2∼N(μ1+μ2,σ12+σ22) X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) X1+X2∼N(μ1+μ2,σ12+σ22)
令:
Z1=X1−μ1σ1∼N(0,1),Z2=X2−μ2σ2∼N(0,1)⇒X1=σ1Z1+μ1,X2=σ2Z2+μ2 Z_1 = \frac{X_1 - \mu_1}{\sigma_1} \sim N(0,1), \quad Z_2 = \frac{X_2 - \mu_2}{\sigma_2} \sim N(0,1) \Rightarrow X_1 = \sigma_1 Z_1 + \mu_1, \quad X_2 = \sigma_2 Z_2 + \mu_2 Z1=σ1X1−μ1∼N(0,1),Z2=σ2X2−μ2∼N(0,1)⇒X1=σ1Z1+μ1,X2=σ2Z2+μ2
所以:
X1+X2=σ1Z1+σ2Z2+μ1+μ2 X_1 + X_2 = \sigma_1 Z_1 + \sigma_2 Z_2 + \mu_1 + \mu_2 X1+X2=σ1Z1+σ2Z2+μ1+μ2
因为线性组合仍服从正态分布(正态分布在线性变换下封闭) ,所以:
X1+X2∼N(μ1+μ2,σ12+σ22) X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) X1+X2∼N(μ1+μ2,σ12+σ22)
例 3c:篮球比赛胜负的正态近似
一支球队打了 44 场比赛:
- 26 场对"甲级队",每场获胜概率 p_A = 0.4
- 18 场对"乙级队",每场获胜概率 p_B = 0.7
- 所有比赛结果相互独立
定义:
- X_A \\sim \\text{Bin}(26, 0.4) :对甲级队赢的场数
- X_B \\sim \\text{Bin}(18, 0.7) :对乙级队赢的场数
目标是计算两个概率:
- (a) 总胜场超过 25 场的概率: P(X_A + X_B \> 25)
- (b) 对甲级队赢的场数多于对乙级队的概率: P(X_A \> X_B)
对于二项分布 X \\sim \\text{Bin}(n, p) :
- \\mathbb{E}\[X\] = np
- \\mathrm{Var}(X) = np(1-p)
所以:
变量 | n | p | \\mathbb{E}\[X\] | \\mathrm{Var}(X) |
---|---|---|---|---|
X_A | 26 | 0.4 | 26 \\times 0.4 = 10.4 | 26 \\times 0.4 \\times 0.6 = 6.24 |
X_B | 18 | 0.7 | 18 \\times 0.7 = 12.6 | 18 \\times 0.7 \\times 0.3 = 3.78 |
(a) P(X_A + X_B \\geq 25)
由于 S 是取整数值的离散随机变量,而正态分布是连续的,需使用连续性修正。
我们要求:
P(S≥25) P(S \geq 25) P(S≥25)
连续性修正后近似为:
P(S≥25)≈P(Snorm≥24.5) P(S \geq 25) \approx P(S_{\text{norm}} \geq 24.5) P(S≥25)≈P(Snorm≥24.5)
标准化:
Z=24.5−2310.02=1.510.02≈1.53.1657≈0.4739 Z = \frac{24.5 - 23}{\sqrt{10.02}} = \frac{1.5}{\sqrt{10.02}} \approx \frac{1.5}{3.1657} \approx 0.4739 Z=10.02 24.5−23=10.02 1.5≈3.16571.5≈0.4739
查标准正态分布表得:
P(Z<0.4739)≈0.6822⇒P(Z≥0.4739)=1−0.6822=0.3178 P(Z < 0.4739) \approx 0.6822 \Rightarrow P(Z \geq 0.4739) = 1 - 0.6822 = \boxed{0.3178} P(Z<0.4739)≈0.6822⇒P(Z≥0.4739)=1−0.6822=0.3178
因此:
P(XA+XB≥25)≈0.3178 P(X_A + X_B \geq 25) \approx 0.3178 P(XA+XB≥25)≈0.3178
(b) P(XA>XB)=P(XA−XB≥1)P(X_A > X_B) = P(X_A - X_B \geq 1)P(XA>XB)=P(XA−XB≥1)
定义差值变量:
D=XA−XB D = X_A - X_B D=XA−XB
由于 X_A 与 X_B 独立,且均近似正态,故 D 也近似正态分布:
- \\mathbb{E}\[D\] = 10.4 - 12.6 = -2.2
- \\mathrm{Var}(D) = \\mathrm{Var}(X_A) + \\mathrm{Var}(X_B) = 6.24 + 3.78 = 10.02
- 所以 D \\approx N(-2.2,\\ 10.02)
事件 X_A \> X_B 等价于 D \\geq 1 ,由于 D 为整数变量,使用连续性修正:
P(D≥1)≈P(Dnorm≥0.5) P(D \geq 1) \approx P(D_{\text{norm}} \geq 0.5) P(D≥1)≈P(Dnorm≥0.5)
标准化:
Z=0.5−(−2.2)10.02=2.710.02≈2.73.1657≈0.8530 Z = \frac{0.5 - (-2.2)}{\sqrt{10.02}} = \frac{2.7}{\sqrt{10.02}} \approx \frac{2.7}{3.1657} \approx 0.8530 Z=10.02 0.5−(−2.2)=10.02 2.7≈3.16572.7≈0.8530
查表得:
P(Z<0.8530)≈0.8032⇒P(Z≥0.8530)=1−0.8032=0.1968 P(Z < 0.8530) \approx 0.8032 \Rightarrow P(Z \geq 0.8530) = 1 - 0.8032 = \boxed{0.1968} P(Z<0.8530)≈0.8032⇒P(Z≥0.8530)=1−0.8032=0.1968
因此:
P(XA>XB)≈0.1968 P(X_A > X_B) \approx 0.1968 P(XA>XB)≈0.1968
对数正态分布
若 \\ln Y \\sim N(\\mu, \\sigma\^2) ,则称 Y 为对数正态随机变量,记作 Y \\sim \\text{Lognormal}(\\mu, \\sigma\^2)
等价地,若 X \\sim N(\\mu, \\sigma\^2) ,则 Y = e\^X \\sim \\text{Lognormal}(\\mu, \\sigma\^2)
例 3d:证券价格模型
设 S(n) 表示第 n 周的股价,假设 \\frac{S(n)}{S(n-1)} \\sim \\text{Lognormal}(\\mu, \\sigma) ,参数 \\mu = 0.0165 ,,, \\sigma = 0.0730
即 \\ln\\left( \\frac{S(n)}{S(n-1)} \\right) \\sim N(0.0165, 0.0730\^2)
(a) 接下来两周价格都上涨:
计算连续两周都上涨的概率:
P(第1周涨)×P(第2周涨) P\left( \text{第1周涨} \right) \times P\left( \text{第2周涨} \right) P(第1周涨)×P(第2周涨)
由于每周独立,且同分布,只需先算一周上涨的概率,再平方。
上涨 ⇨ \\frac{S(1)}{S(0)} \> 1
取对数:
ln(S(1)S(0))>0 \ln\left( \frac{S(1)}{S(0)} \right) > 0 ln(S(0)S(1))>0
令:
X=ln(S(1)S(0))∼N(0.0165, 0.07302) X = \ln\left( \frac{S(1)}{S(0)} \right) \sim N(0.0165,\ 0.0730^2) X=ln(S(0)S(1))∼N(0.0165, 0.07302)
我们要求:
P(X>0) P(X > 0) P(X>0)
标准化为标准正态变量 Z \\sim N(0,1) :
P(X>0)=P(Z>0−0.01650.0730)=P(Z>−0.01650.0730) P(X > 0) = P\left( Z > \frac{0 - 0.0165}{0.0730} \right) = P\left( Z > -\frac{0.0165}{0.0730} \right) P(X>0)=P(Z>0.07300−0.0165)=P(Z>−0.07300.0165)
计算:
0.01650.0730≈0.2260⇒P(Z>−0.2260) \frac{0.0165}{0.0730} \approx 0.2260 \Rightarrow P(Z > -0.2260) 0.07300.0165≈0.2260⇒P(Z>−0.2260)
利用标准正态的对称性:
P(Z>−a)=P(Z<a)⇒P(Z>−0.2260)=P(Z<0.2260) P(Z > -a) = P(Z < a) \Rightarrow P(Z > -0.2260) = P(Z < 0.2260) P(Z>−a)=P(Z<a)⇒P(Z>−0.2260)=P(Z<0.2260)
查标准正态表:
- P(Z \< 0.22) \\approx 0.5871
- P(Z \< 0.23) \\approx 0.5910
- 插值得 P(Z \< 0.2260) \\approx 0.5894
P(单周上涨)=0.5894 P(\text{单周上涨}) = 0.5894 P(单周上涨)=0.5894
由于独立:
P(第一周涨且第二周涨)=P(第一周涨)×P(第二周涨)=(0.5894)2 P(\text{第一周涨且第二周涨}) = P(\text{第一周涨}) \times P(\text{第二周涨}) = (0.5894)^2 P(第一周涨且第二周涨)=P(第一周涨)×P(第二周涨)=(0.5894)2
计算:
0.58942≈0.3474 0.5894^2 \approx 0.3474 0.58942≈0.3474
P(连续两周上涨)≈0.3474 \boxed{P(\text{连续两周上涨}) \approx 0.3474} P(连续两周上涨)≈0.3474
(b) 两周后比现在高:
这次不是要求"每周都涨",而是只要最终价格高于初始价格即可。
即:
S(2)S(0)>1⇒ln(S(2)S(0))>0 \frac{S(2)}{S(0)} > 1 \Rightarrow \ln\left( \frac{S(2)}{S(0)} \right) > 0 S(0)S(2)>1⇒ln(S(0)S(2))>0
ln(S(2)S(0))=ln(S(2)S(1)⋅S(1)S(0))=ln(S(2)S(1))+ln(S(1)S(0)) \ln\left( \frac{S(2)}{S(0)} \right) = \ln\left( \frac{S(2)}{S(1)} \cdot \frac{S(1)}{S(0)} \right) = \ln\left( \frac{S(2)}{S(1)} \right) + \ln\left( \frac{S(1)}{S(0)} \right) ln(S(0)S(2))=ln(S(1)S(2)⋅S(0)S(1))=ln(S(1)S(2))+ln(S(0)S(1))
令:
- X_1 = \\ln\\left( \\frac{S(1)}{S(0)} \\right) \\sim N(0.0165, 0.0730\^2)
- X_2 = \\ln\\left( \\frac{S(2)}{S(1)} \\right) \\sim N(0.0165, 0.0730\^2)
- 且 X_1, X_2 独立
所以:
X1+X2∼N(0.0165+0.0165, 0.07302+0.07302)=N(0.0330, 2×0.07302) X_1 + X_2 \sim N(0.0165 + 0.0165,\ 0.0730^2 + 0.0730^2) = N(0.0330,\ 2 \times 0.0730^2) X1+X2∼N(0.0165+0.0165, 0.07302+0.07302)=N(0.0330, 2×0.07302)
P(X1+X2>0)=P(Z>0−0.03300.1032)=P(Z>−0.03300.1032) P(X_1 + X_2 > 0) = P\left( Z > \frac{0 - 0.0330}{0.1032} \right) = P\left( Z > -\frac{0.0330}{0.1032} \right) P(X1+X2>0)=P(Z>0.10320−0.0330)=P(Z>−0.10320.0330)
计算:
0.03300.1032≈0.31965⇒P(Z>−0.31965)=P(Z<0.31965) \frac{0.0330}{0.1032} \approx 0.31965 \Rightarrow P(Z > -0.31965) = P(Z < 0.31965) 0.10320.0330≈0.31965⇒P(Z>−0.31965)=P(Z<0.31965)
查表:
- P(Z \< 0.31) \\approx 0.6217
- P(Z \< 0.32) \\approx 0.6255
- 插值得 \\approx 0.6254
所以:
P(S(2)S(0)>1)≈0.6254 P\left( \frac{S(2)}{S(0)} > 1 \right) \approx 0.6254 P(S(0)S(2)>1)≈0.6254
6.3.4 泊松随机变量
设 X \\sim \\text{Poisson}(\\lambda_1) ,,, Y \\sim \\text{Poisson}(\\lambda_2) ,独立。
则:
P(X+Y=n)=∑k=0nP(X=k)P(Y=n−k)=∑k=0ne−λ1λ1kk!e−λ2λ2n−k(n−k)! P(X+Y = n) = \sum_{k=0}^n P(X=k)P(Y=n-k) = \sum_{k=0}^n e^{-\lambda_1} \frac{\lambda_1^k}{k!} e^{-\lambda_2} \frac{\lambda_2^{n-k}}{(n-k)!} P(X+Y=n)=k=0∑nP(X=k)P(Y=n−k)=k=0∑ne−λ1k!λ1ke−λ2(n−k)!λ2n−k
=e−(λ1+λ2)∑k=0nλ1kλ2n−kk!(n−k)!=e−(λ1+λ2)n!(λ1+λ2)n = e^{-(\lambda_1+\lambda_2)} \sum_{k=0}^n \frac{\lambda_1^k \lambda_2^{n-k}}{k!(n-k)!} = \frac{e^{-(\lambda_1+\lambda_2)}}{n!} (\lambda_1 + \lambda_2)^n =e−(λ1+λ2)k=0∑nk!(n−k)!λ1kλ2n−k=n!e−(λ1+λ2)(λ1+λ2)n
即 X+Y \\sim \\text{Poisson}(\\lambda_1 + \\lambda_2)
6.3.5 二项随机变量
设 X \\sim \\text{Bin}(n,p) ,,, Y \\sim \\text{Bin}(m,p) ,独立。
直观理解: X 是 n 次伯努利试验的成功次数, Y 是另 m 次的成功次数,总和为 n+m 次试验的成功次数 → X+Y \\sim \\text{Bin}(n+m, p)
P(X+Y=k)=∑i=0nP(X=i)P(Y=k−i)=∑i=0n(ni)piqn−i(mk−i)pk−iqm−k+i P(X+Y = k) = \sum_{i=0}^n P(X=i)P(Y=k-i) = \sum_{i=0}^n \binom{n}{i} p^i q^{n-i} \binom{m}{k-i} p^{k-i} q^{m-k+i} P(X+Y=k)=i=0∑nP(X=i)P(Y=k−i)=i=0∑n(in)piqn−i(k−im)pk−iqm−k+i
=pkqn+m−k∑i=0n(ni)(mk−i) = p^k q^{n+m-k} \sum_{i=0}^n \binom{n}{i} \binom{m}{k-i} =pkqn+m−ki=0∑n(in)(k−im)
利用组合恒等式:
∑i=0n(ni)(mk−i)=(n+mk) \sum_{i=0}^n \binom{n}{i} \binom{m}{k-i} = \binom{n+m}{k} i=0∑n(in)(k−im)=(kn+m)
故:
P(X+Y=k)=(n+mk)pkqn+m−k P(X+Y = k) = \binom{n+m}{k} p^k q^{n+m-k} P(X+Y=k)=(kn+m)pkqn+m−k
即 X+Y \\sim \\text{Bin}(n+m, p)
6.4 离散情形下的条件分布
对于事件 E,F ,若 P(F) \> 0 ,则条件概率定义为:
P(E∣F)=P(E∩F)P(F) P(E|F) = \frac{P(E \cap F)}{P(F)} P(E∣F)=P(F)P(E∩F)
若 X,Y 为离散型随机变量,则在 Y=y 条件下, X 的条件分布列为:
pX∣Y(x∣y)=P(X=x∣Y=y)=P(X=x,Y=y)P(Y=y)=p(x,y)pY(y),当 pY(y)>0 p_{X|Y}(x|y) = P(X = x | Y = y) = \frac{P(X=x, Y=y)}{P(Y=y)} = \frac{p(x,y)}{p_Y(y)}, \quad \text{当 } p_Y(y) > 0 pX∣Y(x∣y)=P(X=x∣Y=y)=P(Y=y)P(X=x,Y=y)=pY(y)p(x,y),当 pY(y)>0
相应的条件分布函数为:
FX∣Y(x∣y)=P(X≤x∣Y=y)=∑a≤xpX∣Y(a∣y) F_{X|Y}(x|y) = P(X \leq x | Y = y) = \sum_{a \leq x} p_{X|Y}(a|y) FX∣Y(x∣y)=P(X≤x∣Y=y)=a≤x∑pX∣Y(a∣y)
若 X,Y 独立,则:
pX∣Y(x∣y)=P(X=x) p_{X|Y}(x|y) = P(X=x) pX∣Y(x∣y)=P(X=x)
即条件分布等于边缘分布。
例 4a:给定联合分布求条件分布
联合分布:
- p(0,0) = 0.4
- p(0,1) = 0.2
- p(1,0) = 0.1
- p(1,1) = 0.3
求 p_{X\|Y}(x\|1)
先求 p_Y(1) = p(0,1) + p(1,1) = 0.2 + 0.3 = 0.5
则:
- p_{X\|Y}(0\|1) = \\frac{0.2}{0.5} = 0.4
- p_{X\|Y}(1\|1) = \\frac{0.3}{0.5} = 0.6
例 4b:给定 X+Y=n ,求 X 的条件分布
设 X \\sim \\text{Poisson}(\\lambda_1) ,,, Y \\sim \\text{Poisson}(\\lambda_2) ,独立。
则 X+Y \\sim \\text{Poisson}(\\lambda_1 + \\lambda_2)
P(X=k∣X+Y=n)=P(X=k,Y=n−k)P(X+Y=n)=e−λ1λ1kk!e−λ2λ2n−k(n−k)!e−(λ1+λ2)(λ1+λ2)nn! P(X = k | X+Y = n) = \frac{P(X=k, Y=n-k)}{P(X+Y=n)} = \frac{e^{-\lambda_1} \frac{\lambda_1^k}{k!} e^{-\lambda_2} \frac{\lambda_2^{n-k}}{(n-k)!}}{e^{-(\lambda_1+\lambda_2)} \frac{(\lambda_1+\lambda_2)^n}{n!}} P(X=k∣X+Y=n)=P(X+Y=n)P(X=k,Y=n−k)=e−(λ1+λ2)n!(λ1+λ2)ne−λ1k!λ1ke−λ2(n−k)!λ2n−k
=(nk)(λ1λ1+λ2)k(λ2λ1+λ2)n−k = \binom{n}{k} \left( \frac{\lambda_1}{\lambda_1 + \lambda_2} \right)^k \left( \frac{\lambda_2}{\lambda_1 + \lambda_2} \right)^{n-k} =(kn)(λ1+λ2λ1)k(λ1+λ2λ2)n−k
即条件分布为 \\text{Binomial}\\left(n, \\frac{\\lambda_1}{\\lambda_1 + \\lambda_2}\\right)
例 4c:多项分布的条件分布
多项分布是二项分布的推广,用于描述 n 次独立实验中,每次实验有 k 个互斥结果的情形。设第 i 个结果出现的概率为 p_i ,记 X_i 为该结果在 n 次实验中出现的次数,则随机向量:
(X1,X2,...,Xk)∼Multinomial(n;p1,p2,...,pk) (X_1, X_2, \ldots, X_k) \sim \text{Multinomial}(n; p_1, p_2, \ldots, p_k) (X1,X2,...,Xk)∼Multinomial(n;p1,p2,...,pk)
满足 \\sum_{i=1}\^k X_i = n ,且联合概率为:
P(X1=x1,...,Xk=xk)=n!x1!⋯xk!p1x1⋯pkxk,∑xi=n P(X_1 = x_1, \ldots, X_k = x_k) = \frac{n!}{x_1! \cdots x_k!} p_1^{x_1} \cdots p_k^{x_k}, \quad \sum x_i = n P(X1=x1,...,Xk=xk)=x1!⋯xk!n!p1x1⋯pkxk,∑xi=n
考虑将 k 个类别分为两组:
- 前 r 个类别: 1, 2, \\ldots, r
- 后 k - r 个类别: r+1, \\ldots, k
现假设我们已观察到后 k - r 个类别的具体取值:
Xr+1=nr+1,Xr+2=nr+2,...,Xk=nk X_{r+1} = n_{r+1},\quad X_{r+2} = n_{r+2},\quad \ldots,\quad X_k = n_k Xr+1=nr+1,Xr+2=nr+2,...,Xk=nk
令:
- m = \\sum_{j=r+1}\^k n_j :已知部分的总频数
- F_r = \\sum_{i=1}\^r p_i :前 r 个类别的总概率(归一化因子)
由于总试验次数为 n ,前 r 个类别的总频数必须为 n - m 。
结论
在给定 X_{r+1} = n_{r+1}, \\ldots, X_k = n_k 的条件下,前 r 个变量的条件分布为:
(X1,...,Xr)∣(Xr+1=nr+1,...,Xk=nk)∼Multinomial(n−m;p1Fr,p2Fr,...,prFr) (X_1, \ldots, X_r) \mid (X_{r+1} = n_{r+1}, \ldots, X_k = n_k) \sim \text{Multinomial}\left(n - m; \frac{p_1}{F_r}, \frac{p_2}{F_r}, \ldots, \frac{p_r}{F_r} \right) (X1,...,Xr)∣(Xr+1=nr+1,...,Xk=nk)∼Multinomial(n−m;Frp1,Frp2,...,Frpr)
直观解释
- 已知有 m 次实验落在后 k - r 类中,剩下 n - m 次实验必然落在前 r 类中。
- 这些"剩余实验"在前 r 类之间的分配,仍服从多项分布。
- 但由于总概率 F_r \< 1 ,必须将原概率 p_1, \\ldots, p_r 归一化,使其和为 1,即使用 \\frac{p_i}{F_r} 作为新类别概率。
这相当于:在已知结果不属于后 k - r 类的前提下,前 r 类的相对发生概率按比例调整。
例 4d:给定成功次数,所有序列等可能
在 n 次独立伯努利试验中,已知成功 k 次,则所有 \\binom{n}{k} 种成功/失败序列等可能。
证明:
任一特定序列 \\mathbf{o} 有 k 次成功,概率为 p\^k (1-p)\^{n-k}
P(X=k) = \\binom{n}{k} p\^k (1-p)\^{n-k}
则:
P(o∣X=k)=P(o)P(X=k)=pk(1−p)n−k(nk)pk(1−p)n−k=1(nk) P(\mathbf{o} | X=k) = \frac{P(\mathbf{o})}{P(X=k)} = \frac{p^k (1-p)^{n-k}}{\binom{n}{k} p^k (1-p)^{n-k}} = \frac{1}{\binom{n}{k}} P(o∣X=k)=P(X=k)P(o)=(kn)pk(1−p)n−kpk(1−p)n−k=(kn)1
即等可能。
总结:
- 独立变量之和的分布可通过卷积(连续)或概率加法(离散)求得。
- 常见分布的和仍属于同族:正态、Γ、泊松、二项。
- 条件分布是理解联合分布结构的重要工具,尤其在贝叶斯推理中。