一、说明
在概率分布中,高阶矩的求法是相当困难的。而自然对数e的指数函数通过泰勒展开,与高阶的多项式有着天然的联系。数学家开发了矩生成函数,通过对任意分布的概率空间,首先找出矩生成函数,通过对矩生成函数求导而的到任意阶的矩。避免了复杂的积分运算。
矩生成函数的另一个意义在于,推导中心极限定律必须用到,后面我们将介绍这个有意义的证明。
二、矩生成函数
本文将介绍并讨论矩生成函数(MGF)。矩生成函数有很多用途,其中之一是它们可以应用于随机变量之和的分析。在讨论矩生成函数之前,我们先来定义一下矩。
2.1 关于矩的定义
定义6.2:随机变量𝑋的n阶矩定义为 𝐸 𝑋 𝑛 𝐸𝑋\^𝑛 EXn,第n个中心矩𝑋定义为 𝐸 ( 𝑋 − 𝐸 𝑋 ) 𝑛 𝐸(𝑋−𝐸𝑋)\^𝑛 E(X−EX)n
例如,一阶矩是期望值𝐸𝑋。第二个中心矩是方差.与均值和方差类似,其他矩也能提供有关随机变量的有用信息。
2.2 的矩母函数
随机变量𝑋的矩生成函数(MGF)是一个函数 𝑀 𝑋 ( 𝑠 ) 𝑀_𝑋(𝑠) MX(s)定义为 𝑀 𝑋 ( 𝑠 ) = 𝐸 𝑒 𝑠 𝑋 𝑀_𝑋(𝑠)=𝐸𝑒\^{𝑠𝑋} MX(s)=EesX。
- 我们说MGF是存在的,那么必须存在一个正常数a,只要在 s ∈ − a , a s\in-a,a s∈−a,a 𝑀 𝑋 ( 𝑠 ) 𝑀_𝑋(𝑠) MX(s)总是存在。
1)离散概率模型的矩母函数
M X ( s ) = ∑ e s x P X = x \large M_X(s)=\sum e^{sx}PX=x MX(s)=∑esxPX=x
2)连续行概率模型的矩母函数
M X ( s ) = E e s X = ∫ − ∞ + ∞ e s x f ( x ) d x \large M_X(s)= Ee\^{sX}=\int^{+\infty}_{-\infty} e^{sx}f(x)dx MX(s)=EesX=∫−∞+∞esxf(x)dx
在继续之前,让我们来看一个例子。
【example.1】𝑋 是一个离散型随机变量,其概率质量函数(PMF)为
P X ( k ) = { 1 3 k = 1 2 3 k = 2 \large P_X(k)= \left\{ \begin{array}{lr} \frac{1}{3} & k=1\\ \frac{2}{3} & k=2 \end{array} \right. PX(k)={3132k=1k=2
求其矩母函数(MGF)
解决:
M X ( s ) = E e s X = ∑ e s x P X = x = 1 3 e s + 2 3 e 2 s . \large M_X(s)=Ee\^{sX}=\sum e^{sx}PX=x=\frac{1}{3}e^s+\frac{2}{3}e^{2s}. MX(s)=EesX=∑esxPX=x=31es+32e2s.
【example.2】Y 是一个均匀分布在 (0,1) 上的随机变量,求其矩母函数(MGF).
解决:
M Y ( s ) = E e s Y = ∫ 0 1 e s y d y = e s − 1 s . \large M_Y(s)=E e\^{sY} =\int_{0}^{1}e^{sy}dy =\frac{e^s-1}{s}. MY(s)=EesY=∫01esydy=ses−1.
请注意,我们始终有 M Y ( 0 ) = E e 0 ⋅ Y = 1 M_Y(0) = Ee\^{0⋅Y} = 1 MY(0)=Ee0⋅Y=1,因此对于所有 s ∈ R s∈R s∈R, M Y ( s ) M_Y(s) MY(s)也是良好定义的。
MGF有什么用处呢?基本上有两个原因。第一,随机变量𝑋的MGF能给出𝑋的所有矩。这就是它被称为矩生成函数的原因。第二,如果MGF存在,它能唯一确定分布。也就是说,如果两个随机变量具有相同的MGF,那么它们的分布必定相同。因此,如果你找到了一个随机变量的MGF,实际上就确定了它的分布。当处理多个独立随机变量之和的问题时,我们会发现这种方法非常有用。下面我们详细讨论这些内容。
三、从MGF寻找矩
记住𝑒ˣ的泰勒级数:对于所有 𝑥 ∈ R 𝑥∈ℝ x∈R,我们有
.
e x = 1 + x + x 2 2 ! + x 3 3 ! + . . . = ∑ k = 0 ∞ x k k ! . \large e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+...=\sum_{k=0}^{\infty} \frac{x^k}{k!}. ex=1+x+2!x2+3!x3+...=k=0∑∞k!xk.
现在,我们可以写成:
e s X = ∑ k = 0 ∞ ( s X ) k k ! = ∑ k = 0 ∞ X k s k k ! . . \begin{align}%\label{} \nonumber e^{sX}&=\sum_{k=0}^{\infty} \frac{(sX)^k}{k!}=\sum_{k=0}^{\infty} \frac{X^k s^k}{k!}. \end{align}. esX=k=0∑∞k!(sX)k=k=0∑∞k!Xksk..
因此得到:
M X ( s ) = E e s X = ∑ k = 0 ∞ E X k s k k ! . \begin{align}%\label{} \nonumber M_X(s)=Ee\^{sX}&=\sum_{k=0}^{\infty} EX\^k \frac{s^k}{k!}. \end{align} MX(s)=EesX=k=0∑∞EXkk!sk.
我们得出结论,随机变量𝑋的𝑘阶矩是𝑀ₓ(𝑠)的泰勒级数中𝑠ᵏ/𝑘!的系数。因此,如果我们有了𝑀ₓ(𝑠)的泰勒级数,我们就可以得到𝑋的所有矩。
从矩生成函数中获得任何阶矩。
【example.2】若𝑌服从标准均匀分布𝑈𝑛𝑖𝑓𝑜𝑟𝑚(0,1),利用𝑌的矩母函数 𝑀 𝑌 ( 𝑠 ) 𝑀_𝑌(𝑠) MY(s)求 𝐸 𝑌 𝑘 𝐸𝑌\^𝑘 EYk。
我们在例2中找到了 M Y ( s ) M_Y(s) MY(s),因此我们有
M Y ( s ) = e s − 1 s = 1 s ( ∑ k = 0 ∞ s k k ! − 1 ) = 1 s ∑ k = 1 ∞ s k k ! = ∑ k = 1 ∞ s k − 1 k ! = ∑ k = 0 ∞ 1 k + 1 s k k ! . \begin{align}%\label{} \nonumber M_Y(s)&=\frac{e^s-1}{s}\\ \nonumber &=\frac{1}{s} \left(\sum_{k=0}^{\infty} \frac{s^k}{k!}-1\right)\\ \nonumber &=\frac{1}{s} \sum_{k=1}^{\infty} \frac{s^k}{k!}\\ \nonumber &=\sum_{k=1}^{\infty} \frac{s^{k-1}}{k!}\\ \nonumber &=\sum_{k=0}^{\infty}\frac{1}{k+1} \frac{s^{k}}{k!}. \end{align} MY(s)=ses−1=s1(k=0∑∞k!sk−1)=s1k=1∑∞k!sk=k=1∑∞k!sk−1=k=0∑∞k+11k!sk.
因此,在 M Y ( s ) M_Y(s) MY(s)的泰勒级数中, s k k ! \frac{s^k}{k!} k!sk的系数为 1 k + 1 \frac{1}{k+1} k+11,所以
E X k = 1 k + 1 . \begin{align}%\label{} \nonumber EX\^k=\frac{1}{k+1}. \end{align} EXk=k+11.
我们从微积分中记得,在 M X ( s ) M_X(s) MX(s)的泰勒级数中, ( s k / k ! ) (s^k/k!) (sk/k!)的系数是通过对 M X ( s ) M_X(s) MX(s)取(k)阶导数并在(s=0)处进行求值得到的。因此,我们可以写出
E X k = d k d s k M X ( s ) ∣ s = 0 . \begin{align} \nonumber EX\^k=\frac{d^k}{ds^k}M_X(s)|_{s=0}. \end{align} EXk=dskdkMX(s)∣s=0.
我们可以通过𝑋𝑘的矩生成函数(MGF)获得其所有矩。
M X ( s ) = ∑ k = 0 ∞ E X k s k k ! , E X k = d k d s k M X ( s ) ∣ s = 0 . \begin{align}%\label{} \nonumber M_X(s)=\sum_{k=0}^{\infty} EX\^k \frac{s^k}{k!}, \end{align}\\\begin{align}%\label{} \nonumber EX\^k=\frac{d^k}{ds^k}M_X(s)|_{s=0}. \end{align} MX(s)=k=0∑∞EXkk!sk,EXk=dskdkMX(s)∣s=0.
四、结论
以上我们介绍MGF的构建,以及如何用MGF求出概率分布的k阶矩。在后续文中,我们介绍一些分布的矩求法,如指数分布函数、泊松分布,高斯分布等一系列的矩求法示例。