矩母函数极其应用(1/2)

一、说明

在概率分布中,高阶矩的求法是相当困难的。而自然对数e的指数函数通过泰勒展开,与高阶的多项式有着天然的联系。数学家开发了矩生成函数,通过对任意分布的概率空间,首先找出矩生成函数,通过对矩生成函数求导而的到任意阶的矩。避免了复杂的积分运算。

矩生成函数的另一个意义在于,推导中心极限定律必须用到,后面我们将介绍这个有意义的证明。

二、矩生成函数

本文将介绍并讨论矩生成函数(MGF)。矩生成函数有很多用途,其中之一是它们可以应用于随机变量之和的分析。在讨论矩生成函数之前,我们先来定义一下矩。

2.1 关于矩的定义

定义6.2:随机变量𝑋的n阶矩定义为 𝐸 [ 𝑋 𝑛 ] 𝐸[𝑋^𝑛] E[Xn],第n个中心矩𝑋定义为 𝐸 [ ( 𝑋 − 𝐸 𝑋 ) 𝑛 ] 𝐸[(𝑋−𝐸𝑋)^𝑛] E[(X−EX)n]

例如,一阶矩是期望值𝐸[𝑋]。第二个中心矩是方差.与均值和方差类似,其他矩也能提供有关随机变量的有用信息。

2.2 的矩母函数

随机变量𝑋的矩生成函数(MGF)是一个函数 𝑀 𝑋 ( 𝑠 ) 𝑀_𝑋(𝑠) MX(s)定义为 𝑀 𝑋 ( 𝑠 ) = 𝐸 [ 𝑒 𝑠 𝑋 ] 𝑀_𝑋(𝑠)=𝐸[𝑒^{𝑠𝑋}] MX(s)=E[esX]。

  • 我们说MGF是存在的,那么必须存在一个正常数a,只要在 s ∈ [ − a , a ] s\in[-a,a] s∈[−a,a] 𝑀 𝑋 ( 𝑠 ) 𝑀_𝑋(𝑠) MX(s)总是存在。

1)离散概率模型的矩母函数

M X ( s ) = ∑ e s x P [ X = x ] \large M_X(s)=\sum e^{sx}P[X=x] MX(s)=∑esxP[X=x]

2)连续行概率模型的矩母函数
M X ( s ) = E [ e s X ] = ∫ − ∞ + ∞ e s x f ( x ) d x \large M_X(s)= E[e^{sX}]=\int^{+\infty}_{-\infty} e^{sx}f(x)dx MX(s)=E[esX]=∫−∞+∞esxf(x)dx

在继续之前,让我们来看一个例子。

【example.1】𝑋 是一个离散型随机变量,其概率质量函数(PMF)为

P X ( k ) = { 1 3 k = 1 2 3 k = 2 \large P_X(k)= \left\{ \begin{array}{lr} \frac{1}{3} & k=1\\ \frac{2}{3} & k=2 \end{array} \right. PX(k)={3132k=1k=2

求其矩母函数(MGF)

解决:
M X ( s ) = E [ e s X ] = ∑ e s x P [ X = x ] = 1 3 e s + 2 3 e 2 s . \large M_X(s)=E[e^{sX}]=\sum e^{sx}P[X=x]=\frac{1}{3}e^s+\frac{2}{3}e^{2s}. MX(s)=E[esX]=∑esxP[X=x]=31es+32e2s.

【example.2】Y 是一个均匀分布在 (0,1) 上的随机变量,求其矩母函数(MGF).

解决:
M Y ( s ) = E [ e s Y ] = ∫ 0 1 e s y d y = e s − 1 s . \large M_Y(s)=E [e^{sY}] =\int_{0}^{1}e^{sy}dy =\frac{e^s-1}{s}. MY(s)=E[esY]=∫01esydy=ses−1.

请注意,我们始终有 M Y ( 0 ) = E [ e 0 ⋅ Y ] = 1 M_Y(0) = E[e^{0⋅Y}] = 1 MY(0)=E[e0⋅Y]=1,因此对于所有 s ∈ R s∈R s∈R, M Y ( s ) M_Y(s) MY(s)也是良好定义的。

MGF有什么用处呢?基本上有两个原因。第一,随机变量𝑋的MGF能给出𝑋的所有矩。这就是它被称为矩生成函数的原因。第二,如果MGF存在,它能唯一确定分布。也就是说,如果两个随机变量具有相同的MGF,那么它们的分布必定相同。因此,如果你找到了一个随机变量的MGF,实际上就确定了它的分布。当处理多个独立随机变量之和的问题时,我们会发现这种方法非常有用。下面我们详细讨论这些内容。

三、从MGF寻找矩

记住𝑒ˣ的泰勒级数:对于所有 𝑥 ∈ R 𝑥∈ℝ x∈R,我们有

.
e x = 1 + x + x 2 2 ! + x 3 3 ! + . . . = ∑ k = 0 ∞ x k k ! . \large e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+...=\sum_{k=0}^{\infty} \frac{x^k}{k!}. ex=1+x+2!x2+3!x3+...=k=0∑∞k!xk.

现在,我们可以写成:
e s X = ∑ k = 0 ∞ ( s X ) k k ! = ∑ k = 0 ∞ X k s k k ! . . \begin{align}%\label{} \nonumber e^{sX}&=\sum_{k=0}^{\infty} \frac{(sX)^k}{k!}=\sum_{k=0}^{\infty} \frac{X^k s^k}{k!}. \end{align}. esX=k=0∑∞k!(sX)k=k=0∑∞k!Xksk..

因此得到:
M X ( s ) = E [ e s X ] = ∑ k = 0 ∞ E [ X k ] s k k ! . \begin{align}%\label{} \nonumber M_X(s)=E[e^{sX}]&=\sum_{k=0}^{\infty} E[X^k] \frac{s^k}{k!}. \end{align} MX(s)=E[esX]=k=0∑∞E[Xk]k!sk.

我们得出结论,随机变量𝑋的𝑘阶矩是𝑀ₓ(𝑠)的泰勒级数中𝑠ᵏ/𝑘!的系数。因此,如果我们有了𝑀ₓ(𝑠)的泰勒级数,我们就可以得到𝑋的所有矩。

从矩生成函数中获得任何阶矩。

【example.2】若𝑌服从标准均匀分布𝑈𝑛𝑖𝑓𝑜𝑟𝑚(0,1),利用𝑌的矩母函数 𝑀 𝑌 ( 𝑠 ) 𝑀_𝑌(𝑠) MY(s)求 𝐸 [ 𝑌 𝑘 ] 𝐸[𝑌^𝑘] E[Yk]。

我们在例2中找到了 M Y ( s ) M_Y(s) MY(s),因此我们有
M Y ( s ) = e s − 1 s = 1 s ( ∑ k = 0 ∞ s k k ! − 1 ) = 1 s ∑ k = 1 ∞ s k k ! = ∑ k = 1 ∞ s k − 1 k ! = ∑ k = 0 ∞ 1 k + 1 s k k ! . \begin{align}%\label{} \nonumber M_Y(s)&=\frac{e^s-1}{s}\\ \nonumber &=\frac{1}{s} \left(\sum_{k=0}^{\infty} \frac{s^k}{k!}-1\right)\\ \nonumber &=\frac{1}{s} \sum_{k=1}^{\infty} \frac{s^k}{k!}\\ \nonumber &=\sum_{k=1}^{\infty} \frac{s^{k-1}}{k!}\\ \nonumber &=\sum_{k=0}^{\infty}\frac{1}{k+1} \frac{s^{k}}{k!}. \end{align} MY(s)=ses−1=s1(k=0∑∞k!sk−1)=s1k=1∑∞k!sk=k=1∑∞k!sk−1=k=0∑∞k+11k!sk.

因此,在 M Y ( s ) M_Y(s) MY(s)的泰勒级数中, s k k ! \frac{s^k}{k!} k!sk的系数为 1 k + 1 \frac{1}{k+1} k+11,所以
E [ X k ] = 1 k + 1 . \begin{align}%\label{} \nonumber E[X^k]=\frac{1}{k+1}. \end{align} E[Xk]=k+11.

我们从微积分中记得,在 M X ( s ) M_X(s) MX(s)的泰勒级数中, ( s k / k ! ) (s^k/k!) (sk/k!)的系数是通过对 M X ( s ) M_X(s) MX(s)取(k)阶导数并在(s=0)处进行求值得到的。因此,我们可以写出
E [ X k ] = d k d s k M X ( s ) ∣ s = 0 . \begin{align} \nonumber E[X^k]=\frac{d^k}{ds^k}M_X(s)|_{s=0}. \end{align} E[Xk]=dskdkMX(s)∣s=0.

我们可以通过𝑋𝑘的矩生成函数(MGF)获得其所有矩。
M X ( s ) = ∑ k = 0 ∞ E [ X k ] s k k ! , E [ X k ] = d k d s k M X ( s ) ∣ s = 0 . \begin{align}%\label{} \nonumber M_X(s)=\sum_{k=0}^{\infty} E[X^k] \frac{s^k}{k!}, \end{align}\\\begin{align}%\label{} \nonumber E[X^k]=\frac{d^k}{ds^k}M_X(s)|_{s=0}. \end{align} MX(s)=k=0∑∞E[Xk]k!sk,E[Xk]=dskdkMX(s)∣s=0.

四、结论

以上我们介绍MGF的构建,以及如何用MGF求出概率分布的k阶矩。在后续文中,我们介绍一些分布的矩求法,如指数分布函数、泊松分布,高斯分布等一系列的矩求法示例。

相关推荐
培风图南以星河揽胜4 天前
Java实习模拟面试|离散数学|概率论|金融英语|数据库实战|职业规划|期末冲刺|今日本科计科要闻速递:技术分享与学习指南
java·面试·概率论
雪不下7 天前
计算机中的数学:概率(3)
概率论
sensen_kiss8 天前
INT305 Machine Learning 机器学习 Pt.9 Probabilistic Models(概率模型)
人工智能·机器学习·概率论
AI大模型学徒8 天前
NLP基础(八)_马尔可夫模型
算法·机器学习·自然语言处理·nlp·概率论·马尔可夫模型
谅望者10 天前
数据分析笔记08:Python编程基础-数据类型与变量
数据库·笔记·python·数据分析·概率论
醒过来摸鱼12 天前
9.11 傅里叶变换家族介绍
线性代数·算法·概率论
ChoSeitaku14 天前
线代强化NO7|秩|矩阵的秩|向量组的秩|极大线性无关组|公式
线性代数·矩阵·概率论
Cathy Bryant14 天前
信息论(五):联合熵与条件熵
人工智能·笔记·机器学习·数学建模·概率论
谅望者14 天前
数据分析笔记03:概率分布理论
笔记·数据分析·概率论