矩母函数(MGF)

矩母函数(MGF)简介

矩母函数(Moment Generating Function,MGF)是概率统计中描述随机变量分布特征的重要工具。MGF的主要用途是通过导数来计算随机变量的矩(比如均值、方差等),同时它也能帮助确定随机变量的分布。

定义

对于随机变量 X X X,其矩母函数 M X ( t ) M_X(t) MX(t) 定义为:

M X ( t ) = E [ e t X ] = ∫ − ∞ ∞ e t x f X ( x ) d x M_X(t) = \mathbb{E}[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} f_X(x) dx MX(t)=E[etX]=∫−∞∞etxfX(x)dx

  • t t t 是实数;
  • f X ( x ) f_X(x) fX(x) 是随机变量 X X X 的概率密度函数(对于离散分布,积分换成求和)。

矩母函数在 t = 0 t=0 t=0 的值总是 1,即 M X ( 0 ) = 1 M_X(0) = 1 MX(0)=1。

性质
  1. 矩的生成 :随机变量的 n n n 阶原点矩可由 M X ( t ) M_X(t) MX(t) 的 n n n 阶导数得到:
    E [ X n ] = M X ( n ) ( 0 ) \mathbb{E}[X^n] = M_X^{(n)}(0) E[Xn]=MX(n)(0)

    即在 t = 0 t=0 t=0 处对 t t t 求 n n n 阶导数。

  2. 分布唯一性 :如果两个随机变量 X X X 和 Y Y Y 的矩母函数在某个区间内一致,则它们具有相同的分布。

  3. 独立性 :如果 X X X 和 Y Y Y 独立,则 Z = X + Y Z = X + Y Z=X+Y 的矩母函数是 X X X 和 Y Y Y 的矩母函数的乘积:
    M Z ( t ) = M X ( t ) ⋅ M Y ( t ) M_Z(t) = M_X(t) \cdot M_Y(t) MZ(t)=MX(t)⋅MY(t)


例子:指数分布的矩母函数

1. 指数分布定义

假设随机变量 X X X 遵循参数为 λ > 0 \lambda > 0 λ>0 的指数分布,其概率密度函数为:
f X ( x ) = λ e − λ x , x ≥ 0 f_X(x) = \lambda e^{-\lambda x}, \quad x \geq 0 fX(x)=λe−λx,x≥0

2. 矩母函数计算

根据矩母函数的定义:
M X ( t ) = E [ e t X ] = ∫ 0 ∞ e t x ⋅ λ e − λ x d x M_X(t) = \mathbb{E}[e^{tX}] = \int_{0}^{\infty} e^{tx} \cdot \lambda e^{-\lambda x} dx MX(t)=E[etX]=∫0∞etx⋅λe−λxdx

合并指数项 e t x ⋅ e − λ x = e − ( λ − t ) x e^{tx} \cdot e^{-\lambda x} = e^{-(\lambda - t)x} etx⋅e−λx=e−(λ−t)x,得:
M X ( t ) = λ ∫ 0 ∞ e − ( λ − t ) x d x M_X(t) = \lambda \int_{0}^{\infty} e^{-(\lambda - t)x} dx MX(t)=λ∫0∞e−(λ−t)xdx

积分结果为:
∫ 0 ∞ e − a x d x = 1 a , a > 0 \int_{0}^{\infty} e^{-ax} dx = \frac{1}{a}, \quad a > 0 ∫0∞e−axdx=a1,a>0

因此,当 t < λ t < \lambda t<λ 时:
M X ( t ) = λ λ − t M_X(t) = \frac{\lambda}{\lambda - t} MX(t)=λ−tλ

而当 t ≥ λ t \geq \lambda t≥λ 时,积分发散,MGF 不存在。

3. 利用 MGF 计算均值和方差
  • 均值 :随机变量的均值是矩母函数的导数在 t = 0 t = 0 t=0 处的值:
    E [ X ] = M X ′ ( 0 ) \mathbb{E}[X] = M_X'(0) E[X]=MX′(0)

    对 M X ( t ) = λ λ − t M_X(t) = \frac{\lambda}{\lambda - t} MX(t)=λ−tλ 求导:
    M X ′ ( t ) = λ ( λ − t ) 2 M_X'(t) = \frac{\lambda}{(\lambda - t)^2} MX′(t)=(λ−t)2λ

    当 t = 0 t = 0 t=0 时:
    M X ′ ( 0 ) = λ λ 2 = 1 λ M_X'(0) = \frac{\lambda}{\lambda^2} = \frac{1}{\lambda} MX′(0)=λ2λ=λ1

    所以,均值 E [ X ] = 1 λ \mathbb{E}[X] = \frac{1}{\lambda} E[X]=λ1。

  • 方差 :随机变量的方差可以由 E [ X 2 ] − ( E [ X ] ) 2 \mathbb{E}[X^2] - (\mathbb{E}[X])^2 E[X2]−(E[X])2 得到,而 E [ X 2 ] = M X ′ ′ ( 0 ) \mathbb{E}[X^2] = M_X''(0) E[X2]=MX′′(0)。对 M X ′ ( t ) M_X'(t) MX′(t) 再求导:
    M X ′ ′ ( t ) = 2 λ ( λ − t ) 3 M_X''(t) = \frac{2\lambda}{(\lambda - t)^3} MX′′(t)=(λ−t)32λ

    当 t = 0 t = 0 t=0 时:
    M X ′ ′ ( 0 ) = 2 λ λ 3 = 2 λ 2 M_X''(0) = \frac{2\lambda}{\lambda^3} = \frac{2}{\lambda^2} MX′′(0)=λ32λ=λ22

    所以:
    方差 Var ( X ) = E [ X 2 ] − ( E [ X ] ) 2 = 2 λ 2 − ( 1 λ ) 2 = 1 λ 2 \text{方差 } \text{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 = \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 = \frac{1}{\lambda^2} 方差 Var(X)=E[X2]−(E[X])2=λ22−(λ1)2=λ21


总结

矩母函数是分析随机变量特性的重要工具,其计算遵循积分定义。通过矩母函数,能有效推导随机变量的均值、方差及高阶矩等信息。在实际应用中,掌握如何从分布定义出发计算 MGF 是关键步骤。

相关推荐
nuise_6 小时前
朴素贝叶斯法
人工智能·机器学习·概率论
亲持红叶2 天前
最优化方法-牛顿法
人工智能·线性代数·机器学习·概率论
梦醒沉醉3 天前
机器学习的数学基础(三)——概率与信息论
概率论·信息论
wyg_0311136 天前
用大模型学大模型03-数学基础 概率论 条件概率 全概率公式 贝叶斯定理
人工智能·概率论
wyg_0311137 天前
用大模型学大模型03-数学基础 概率论 随机变量 概率分布
人工智能·概率论
liruiqiang058 天前
机器学习 - 大数定律、可能近似正确学习理论
人工智能·机器学习·概率论
zs1996_8 天前
概率论、组合数学知识点汇总
概率论
@心都9 天前
机器学习数学基础:21.特征值与特征向量
人工智能·机器学习·概率论
@心都9 天前
机器学习数学基础:22.对称矩阵的对角化
机器学习·矩阵·概率论
CS创新实验室9 天前
《机器学习数学基础》补充资料:柯西—施瓦茨不等式以及相关证明
人工智能·机器学习·概率论