矩母函数极其应用(1/2)

一、说明

在概率分布中,高阶矩的求法是相当困难的。而自然对数e的指数函数通过泰勒展开,与高阶的多项式有着天然的联系。数学家开发了矩生成函数,通过对任意分布的概率空间,首先找出矩生成函数,通过对矩生成函数求导而的到任意阶的矩。避免了复杂的积分运算。

矩生成函数的另一个意义在于,推导中心极限定律必须用到,后面我们将介绍这个有意义的证明。

二、矩生成函数

本文将介绍并讨论矩生成函数(MGF)。矩生成函数有很多用途,其中之一是它们可以应用于随机变量之和的分析。在讨论矩生成函数之前,我们先来定义一下矩。

2.1 关于矩的定义

定义6.2:随机变量𝑋的n阶矩定义为 𝐸 𝑋 𝑛 𝐸𝑋\^𝑛 EXn,第n个中心矩𝑋定义为 𝐸 ( 𝑋 − 𝐸 𝑋 ) 𝑛 𝐸(𝑋−𝐸𝑋)\^𝑛 E(X−EX)n

例如,一阶矩是期望值𝐸𝑋。第二个中心矩是方差.与均值和方差类似,其他矩也能提供有关随机变量的有用信息。

2.2 的矩母函数

随机变量𝑋的矩生成函数(MGF)是一个函数 𝑀 𝑋 ( 𝑠 ) 𝑀_𝑋(𝑠) MX(s)定义为 𝑀 𝑋 ( 𝑠 ) = 𝐸 𝑒 𝑠 𝑋 𝑀_𝑋(𝑠)=𝐸𝑒\^{𝑠𝑋} MX(s)=EesX

  • 我们说MGF是存在的,那么必须存在一个正常数a,只要在 s ∈ − a , a s\in-a,a s∈−a,a 𝑀 𝑋 ( 𝑠 ) 𝑀_𝑋(𝑠) MX(s)总是存在。

1)离散概率模型的矩母函数

M X ( s ) = ∑ e s x P X = x \large M_X(s)=\sum e^{sx}PX=x MX(s)=∑esxPX=x

2)连续行概率模型的矩母函数
M X ( s ) = E e s X = ∫ − ∞ + ∞ e s x f ( x ) d x \large M_X(s)= Ee\^{sX}=\int^{+\infty}_{-\infty} e^{sx}f(x)dx MX(s)=EesX=∫−∞+∞esxf(x)dx

在继续之前,让我们来看一个例子。

【example.1】𝑋 是一个离散型随机变量,其概率质量函数(PMF)为

P X ( k ) = { 1 3 k = 1 2 3 k = 2 \large P_X(k)= \left\{ \begin{array}{lr} \frac{1}{3} & k=1\\ \frac{2}{3} & k=2 \end{array} \right. PX(k)={3132k=1k=2

求其矩母函数(MGF)

解决:
M X ( s ) = E e s X = ∑ e s x P X = x = 1 3 e s + 2 3 e 2 s . \large M_X(s)=Ee\^{sX}=\sum e^{sx}PX=x=\frac{1}{3}e^s+\frac{2}{3}e^{2s}. MX(s)=EesX=∑esxPX=x=31es+32e2s.

【example.2】Y 是一个均匀分布在 (0,1) 上的随机变量,求其矩母函数(MGF).

解决:
M Y ( s ) = E e s Y = ∫ 0 1 e s y d y = e s − 1 s . \large M_Y(s)=E e\^{sY} =\int_{0}^{1}e^{sy}dy =\frac{e^s-1}{s}. MY(s)=EesY=∫01esydy=ses−1.

请注意,我们始终有 M Y ( 0 ) = E e 0 ⋅ Y = 1 M_Y(0) = Ee\^{0⋅Y} = 1 MY(0)=Ee0⋅Y=1,因此对于所有 s ∈ R s∈R s∈R, M Y ( s ) M_Y(s) MY(s)也是良好定义的。

MGF有什么用处呢?基本上有两个原因。第一,随机变量𝑋的MGF能给出𝑋的所有矩。这就是它被称为矩生成函数的原因。第二,如果MGF存在,它能唯一确定分布。也就是说,如果两个随机变量具有相同的MGF,那么它们的分布必定相同。因此,如果你找到了一个随机变量的MGF,实际上就确定了它的分布。当处理多个独立随机变量之和的问题时,我们会发现这种方法非常有用。下面我们详细讨论这些内容。

三、从MGF寻找矩

记住𝑒ˣ的泰勒级数:对于所有 𝑥 ∈ R 𝑥∈ℝ x∈R,我们有

.
e x = 1 + x + x 2 2 ! + x 3 3 ! + . . . = ∑ k = 0 ∞ x k k ! . \large e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+...=\sum_{k=0}^{\infty} \frac{x^k}{k!}. ex=1+x+2!x2+3!x3+...=k=0∑∞k!xk.

现在,我们可以写成:
e s X = ∑ k = 0 ∞ ( s X ) k k ! = ∑ k = 0 ∞ X k s k k ! . . \begin{align}%\label{} \nonumber e^{sX}&=\sum_{k=0}^{\infty} \frac{(sX)^k}{k!}=\sum_{k=0}^{\infty} \frac{X^k s^k}{k!}. \end{align}. esX=k=0∑∞k!(sX)k=k=0∑∞k!Xksk..

因此得到:
M X ( s ) = E e s X = ∑ k = 0 ∞ E X k s k k ! . \begin{align}%\label{} \nonumber M_X(s)=Ee\^{sX}&=\sum_{k=0}^{\infty} EX\^k \frac{s^k}{k!}. \end{align} MX(s)=EesX=k=0∑∞EXkk!sk.

我们得出结论,随机变量𝑋的𝑘阶矩是𝑀ₓ(𝑠)的泰勒级数中𝑠ᵏ/𝑘!的系数。因此,如果我们有了𝑀ₓ(𝑠)的泰勒级数,我们就可以得到𝑋的所有矩。

从矩生成函数中获得任何阶矩。

【example.2】若𝑌服从标准均匀分布𝑈𝑛𝑖𝑓𝑜𝑟𝑚(0,1),利用𝑌的矩母函数 𝑀 𝑌 ( 𝑠 ) 𝑀_𝑌(𝑠) MY(s)求 𝐸 𝑌 𝑘 𝐸𝑌\^𝑘 EYk

我们在例2中找到了 M Y ( s ) M_Y(s) MY(s),因此我们有
M Y ( s ) = e s − 1 s = 1 s ( ∑ k = 0 ∞ s k k ! − 1 ) = 1 s ∑ k = 1 ∞ s k k ! = ∑ k = 1 ∞ s k − 1 k ! = ∑ k = 0 ∞ 1 k + 1 s k k ! . \begin{align}%\label{} \nonumber M_Y(s)&=\frac{e^s-1}{s}\\ \nonumber &=\frac{1}{s} \left(\sum_{k=0}^{\infty} \frac{s^k}{k!}-1\right)\\ \nonumber &=\frac{1}{s} \sum_{k=1}^{\infty} \frac{s^k}{k!}\\ \nonumber &=\sum_{k=1}^{\infty} \frac{s^{k-1}}{k!}\\ \nonumber &=\sum_{k=0}^{\infty}\frac{1}{k+1} \frac{s^{k}}{k!}. \end{align} MY(s)=ses−1=s1(k=0∑∞k!sk−1)=s1k=1∑∞k!sk=k=1∑∞k!sk−1=k=0∑∞k+11k!sk.

因此,在 M Y ( s ) M_Y(s) MY(s)的泰勒级数中, s k k ! \frac{s^k}{k!} k!sk的系数为 1 k + 1 \frac{1}{k+1} k+11,所以
E X k = 1 k + 1 . \begin{align}%\label{} \nonumber EX\^k=\frac{1}{k+1}. \end{align} EXk=k+11.

我们从微积分中记得,在 M X ( s ) M_X(s) MX(s)的泰勒级数中, ( s k / k ! ) (s^k/k!) (sk/k!)的系数是通过对 M X ( s ) M_X(s) MX(s)取(k)阶导数并在(s=0)处进行求值得到的。因此,我们可以写出
E X k = d k d s k M X ( s ) ∣ s = 0 . \begin{align} \nonumber EX\^k=\frac{d^k}{ds^k}M_X(s)|_{s=0}. \end{align} EXk=dskdkMX(s)∣s=0.

我们可以通过𝑋𝑘的矩生成函数(MGF)获得其所有矩。
M X ( s ) = ∑ k = 0 ∞ E X k s k k ! , E X k = d k d s k M X ( s ) ∣ s = 0 . \begin{align}%\label{} \nonumber M_X(s)=\sum_{k=0}^{\infty} EX\^k \frac{s^k}{k!}, \end{align}\\\begin{align}%\label{} \nonumber EX\^k=\frac{d^k}{ds^k}M_X(s)|_{s=0}. \end{align} MX(s)=k=0∑∞EXkk!sk,EXk=dskdkMX(s)∣s=0.

四、结论

以上我们介绍MGF的构建,以及如何用MGF求出概率分布的k阶矩。在后续文中,我们介绍一些分布的矩求法,如指数分布函数、泊松分布,高斯分布等一系列的矩求法示例。

相关推荐
云和数据.ChenGuang14 天前
metrics的解释 人工智能
人工智能·深度学习·学习·机器学习·概率论
AI科技星15 天前
数术工坊 · 第四卷 橡皮泥江湖(拓扑学)【完整定稿】
c语言·开发语言·汇编·electron·概率论·拓扑学
AI科技星15 天前
第六卷:量天尺传奇(几何学)
网络·人工智能·算法·概率论·学习方法·几何学·拓扑学
AI科技星16 天前
数术江湖·全卷合集 - 硬核江湖・数理史诗
android·人工智能·架构·概率论·学习方法
AI科技星17 天前
第三卷:质数王朝志(全卷定稿)
c语言·开发语言·汇编·electron·概率论
AI科技星17 天前
第四卷:橡皮泥江湖(拓扑学)――诸同奥义,九同立境贯拓扑
网络·人工智能·线性代数·架构·概率论·学习方法·拓扑学
AI科技星17 天前
第三卷:质数王朝志 第四章:RSA护国玄阵,质数锁天地,一数镇万法
android·人工智能·架构·概率论·学习方法
AI科技星18 天前
《全域数学/数术工坊》体系总览
c语言·开发语言·汇编·electron·概率论
lhjcsubupt18 天前
第二十二篇 从随机过程到IMU噪声模型
算法·机器学习·概率论
做cv的小昊19 天前
计算机图形学:【Games101】学习笔记08——光线追踪(辐射度量学、渲染方程与全局光照、蒙特卡洛积分与路径追踪)
图像处理·笔记·学习·计算机视觉·游戏引擎·图形渲染·概率论