Steve Brunton | Probability Bootcamp | 笔记 | 第四部分:高级统计 | Lecture 40 | 矩母函数的可加性质

目录

    • 前言
    • [1. 引言](#1. 引言)
    • [2. 定义 MGF 的可加性](#2. 定义 MGF 的可加性)
    • [3. 简要证明](#3. 简要证明)
    • [4. 结语](#4. 结语)
    • 结语
    • 参考

前言

学习 Steven Brunton 讲授的概率与统计入门概述视频,本篇文章记录第四十讲:矩母函数的可加性质,记录下个人学习笔记,和大家一起分享交流😄

videohttps://www.youtube.com/playlist?list=PLMrJAkhIeNNR3sNYvfgiKgcStwuPSts9V

1. 引言

OK,我们讨论的矩生成函数其实就是概率密度函数的拉普拉斯变换,这个函数非常实用,可以用来计算分布的期望、方差以及更高阶的矩,同时,矩生成函数在证明中心极限定理时也起着关键作用。

该定理是概率论与统计学中奠基性的核心结论:当若干个独立同分布的随机变量相加时,它们的和会逐渐趋近于正态分布,这一结论具有深远意义,而其证明过程正是建立在矩生成函数的基础之上。

接下来我要介绍一个基于拉普拉斯变换知识的特性,这个特性既直观又实用,能帮助我们理解矩生成函数的本质。

2. 定义 MGF 的可加性

假设存在两个相互独立的随机变量 X X X 和 Y Y Y ,这两个随机变量可以来自不同的概率分布,唯一的要求是它们彼此独立。这两个随机变量分布对应着各自的矩生成函数 m X m_X mX 和 m Y m_Y mY ,现在定义一个新变量 Z = X + Y Z = X + Y Z=X+Y ,今天要介绍的性质是: Z Z Z 的矩生成函数等于 X X X 与 Y Y Y 的矩生成函数之积:

m Z ( t ) = m X ( t )   m Y ( t ) m_Z(t) = m_X(t) \, m_Y(t) mZ(t)=mX(t)mY(t)

这真是太精妙了,若有两个随机变量,将它们相加后,其和的矩生成函数等于各自矩生成函数的乘积。

这自然会让人联想到微分方程的情形:当处理两个信号的拉普拉斯变换时,原本需要对它们进行卷积运算,但现在经过拉普拉斯变换后,得到的是它们的乘积,这与微分方程和控制理论中的传递函数概念非常相似,在微分方程中,若将多个模块串联,其整体传递函数等于各模块传递函数的乘积,若你熟悉微分方程的话,这其实是个旁证思路,若你未曾接触过微分方程,不妨将此视为统计学中一个实用的新特性。

接下来我要阐述它与中心极限定理的关联,这也正是我介绍这些内容的根本目的。

假设有若干随机变量 X 1 , X 2 , ... , X n X_1,X_2, \ldots,X_n X1,X2,...,Xn ,定义新变量 S n S_n Sn 为这些随机变量之和:

S n = ∑ i = 1 n X i S_n = \sum_{i=1}^n X_i Sn=i=1∑nXi

那么这个新随机变量(即所有变量之和)的矩生成函数恰好等于各变量矩生成函数的乘积:

m S ( t ) = m X ( t ) n m_S(t) = m_X(t)^n mS(t)=mX(t)n

注意,这里 m X n ( t ) m_X^n(t) mXn(t) 表示 m X ( t ) m_X(t) mX(t) 的 n n n 次幂。在证明中心极限定理时,这个性质将变得极其重要,因为我们将明确论证这个求和项会收敛于正态分布,这意味着我们需要证明该矩母函数正是正态分布的矩母函数。这就是我们证明概率论与统计学中最重要的成果之一 --- 中心极限定理的方法。

3. 简要证明

以上就是中心极限定理的表述与性质,接下来我将简要说明其证明思路,证明过程其实相当简单。

随机变量 Z Z Z 的矩生成函数被明确定义为:

m Z ( t ) = E ( e t Z ) = E ( e t ( X + Y ) ) m_Z(t) = \mathbb{E}(e^{tZ})= \mathbb{E}(e^{t(X+Y)}) mZ(t)=E(etZ)=E(et(X+Y))

这里提供几种推导思路,此时可以直接代入期望值公式进行计算,现在要计算的是:对 X X X 和 Y Y Y 进行双重积分,被积函数为 e t ( x + y ) e^{t(x+y)} et(x+y) 乘以概率密度函数,通过这种推导方式,最终能够得出我们所需的结果。

或者可以直接写成:

m Z ( t ) = E ( e t Z ) = E ( e t ( X + Y ) ) = E ( e t x e t y ) = E ( e t x )   E ( e t y ) = m X ( t )   m Y ( t ) \begin{align*} m_Z(t) &= \mathbb{E}(e^{tZ})= \mathbb{E}(e^{t(X+Y)}) \\ &= \mathbb{E}(e^{tx} e^{ty}) \\ &= \mathbb{E}(e^{tx}) \, \mathbb{E}(e^{ty}) \\ &= m_X(t) \, m_Y(t) \end{align*} mZ(t)=E(etZ)=E(et(X+Y))=E(etxety)=E(etx)E(ety)=mX(t)mY(t)

e t x e^{tx} etx 与 e t y e^{ty} ety 的期望乘积,因为指数乘法正是这样运算的,由于 X X X 与 Y Y Y 相互独立, e t X e^{tX} etX 和 e t Y e^{tY} etY(作为随机变量)也相互独立,因此它们乘积的期望等于各自期望的乘积。最终得到的就是 X X X 的矩生成函数与 Y Y Y 的矩生成函数的乘积。

这里我省略了一些中间步骤,如果非要严格推导的话,我会从期望值的完整积分式出发,证明该关于 X X X 和 Y Y Y 的二重积分可拆分为两个独立积分,最终结果正是这两个矩生成函数的乘积,上面只是一个简略的推导框架。

4. 结语

这个极其重要的性质表明:对于两个相互独立的随机变量(必须满足独立性条件),其和的矩生成函数等于两个随机变量各自矩生成函数的乘积,这个性质非常实用,稍后我们在证明中心极限定理时会具体运用它。

结语

本讲揭示的 MGF 加法性质--- m X + Y ( t ) = m X ( t )   m Y ( t ) m_{X+Y}(t) = m_X(t) \, m_Y(t) mX+Y(t)=mX(t)mY(t)( X , Y X,Y X,Y 独立)---堪称独立随机变量求和运算的 "代数化翻译器":加法在随机变量空间是线性堆积( Z = X + Y Z=X+Y Z=X+Y),映射到 MGF 空间后变为乘法分解( m Z = m X ⋅ m Y m_Z = m_X \cdot m_Y mZ=mX⋅mY)。这一转换的证明仅需两步极度简单的操作:(1) e t ( X + Y ) = e t X e t Y e^{t(X+Y)} = e^{tX} e^{tY} et(X+Y)=etXetY---指数的基本运算性质将加法转为乘法;(2) E ( e t X e t Y ) = E ( e t X ) E ( e t Y ) \mathbb{E}(e^{tX}e^{tY}) = \mathbb{E}(e^{tX})\mathbb{E}(e^{tY}) E(etXetY)=E(etX)E(etY)---独立性确保乘积的期望等于期望的乘积(L29 第二条性质)。两项合一,得证。

推广至 n n n 个 i.i.d. 变量后,求和 S n = ∑ X i S_n = \sum X_i Sn=∑Xi 的 MGF 呈现极简的幂形式: m S n ( t ) = m X ( t ) n m_{S_n}(t) = m_X(t)^n mSn(t)=mX(t)n 。这为 CLT 证明铺设了核心高速公路:标准化的样本均值 S n − n μ σ n \frac{S_n - n\mu}{\sigma\sqrt{n}} σn Sn−nμ 的 MGF 可表示为 m ( t σ n ) n ⋅ e − t n μ / σ m(\\frac{t}{\\sigma\\sqrt{n}})^n \cdot e^{-t\sqrt{n}\mu/\sigma} m(σn t)n⋅e−tn μ/σ,当 n → ∞ n\to\infty n→∞ 时对该式取对数并利用泰勒展开,即可证明其收敛于 e t 2 / 2 e^{t^2/2} et2/2---标准正态的 MGF。MGF 的逐点收敛等价于分布收敛(L37 的唯一性定理),CLT 由此得证。

Brunton 提及的拉普拉斯变换视角为此增添了更宽阔的数学视野:在微分方程和控制理论中,串联系统的传递函数等于各子模块传递函数之积---卷积在频域退化为乘法。独立随机变量之和的分布恰是各分布密度的 卷积 ,而 MGF(作为拉普拉斯变换)将这种卷积关系对角化为 乘积。这不仅是计算上的简化,更是结构上的揭示:独立性将概率世界中最复杂的运算(卷积)转化为最简单的运算(乘法)---所有关于 CLT 的后续论证都将建立在这一代数简化之上 🤗。

参考

相关推荐
爱听歌的周童鞋11 小时前
Steve Brunton | Probability Bootcamp | 笔记 | 第三部分:高级概率 | Lecture 43 | 概率中的尾和公式
statistics·steve brunton·probability·tail sum·ccdf
爱听歌的周童鞋15 小时前
Steve Brunton | Probability Bootcamp | 笔记 | 第四部分:高级统计 | Lecture 41 | 协方差与相关性
statistics·steve brunton·probability·covariance·correlation
爱听歌的周童鞋17 小时前
Steve Brunton | Probability Bootcamp | 笔记 | 第四部分:高级统计 | Lecture 37 | 矩母函数
moments·statistics·steve brunton·probability·mgf
爱听歌的周童鞋1 天前
Steve Brunton | Probability Bootcamp | 笔记 | 第四部分:高级统计 | Lecture 35 | 大数定律
statistics·steve brunton·probability·lln·sample mean
爱听歌的周童鞋14 天前
Steve Brunton | Probability Bootcamp | 笔记 | 第一部分:概率导论 | Lecture 8 | 条件概率
statistics·steve brunton·probability·conditionalprob
爱听歌的周童鞋15 天前
Steve Brunton | Probability Bootcamp | 笔记 | 第一部分:概率导论 | Lecture 7 | 二项分布与多项分布
statistics·multinomial·steve brunton·probability·binomial
xcLeigh6 个月前
Python入门:Python3 statistics模块全面学习教程
开发语言·python·学习·模块·python3·statistics
头发没了还会再长8 个月前
Basic statistics - 12. One-way ANOVA Basics
统计学·statistics
头发没了还会再长8 个月前
Basic statistics - 10. The unpaired t-test | Independent samples t-test
统计学·statistics