最近在读扩散模型相关的几篇paper,中间有对概率论的大篇幅引用. 在DDPM的推导中，用到了中心极限定理.
中心极限定理是概率论和统计学中的一个核心定理，它揭示了大量独立随机变量之和的分布规律。本文将深入探讨中心极限定理的原理、意义、历史以及如何通过Python代码来验证这一重要定理。
中心极限定理的基本原理
中心极限定理的核心内容可以简述如下：
当从任意分布的总体中抽取足够大的样本时，这些样本的均值的分布将近似服从正态分布。这个正态分布的均值等于总体均值，方差等于总体方差除以样本容量。
换言之，不论原始总体服从何种分布，只要样本量足够大，样本均值的分布就会趋近于正态分布。这一发现极大地简化了统计推断过程。
数学表述
设随机变量 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn 相互独立，具有相同的数学期望 μ \mu μ 和方差 σ 2 \sigma^2 σ2，则随机变量之和的标准化形式：
Z n = ∑ i = 1 n X i − n μ n σ = X ˉ − μ σ / n Z_n = \frac{\sum_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} Zn=n σ∑i=1nXi−nμ=σ/n Xˉ−μ
当 n → ∞ n \to \infty n→∞ 时， Z n Z_n Zn 的分布收敛于标准正态分布 N ( 0 , 1 ) N(0,1) N(0,1)。
中心极限定理的意义
- 为统计推断提供理论基础，如参数估计、置信区间构建和假设检验。
- 解释了自然界中许多现象近似服从正态分布的原因。
- 简化了复杂系统的分析，使我们能够用正态分布来近似描述多个随机因素的综合效应。
历史发展
- 1733年：棣莫弗(De Moivre)首次提出，研究了二项分布的正态近似。
- 1812年：拉普拉斯(Laplace)推广了棣莫弗的结果。
- 1901年：李雅普诺夫(Lyapunov)给出了中心极限定理的严格证明。
- 20世纪：理论得到进一步发展和推广，形成了一类重要的极限定理。
Python代码实践
以下是一个使用Python验证中心极限定理的示例：
python
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(0)
# 参数设置
n_samples = 1000
n_experiments = 1000
sample_size = 30
# 进行实验
sample_means = []
for _ in range(n_experiments):
sample = np.random.exponential(scale=1.0, size=sample_size)
sample_means.append(np.mean(sample))
# 绘图
plt.figure(figsize=(10, 6))
plt.hist(sample_means, bins=30, density=True, alpha=0.7,
color='blue', label='样本均值分布')
mean = np.mean(sample_means)
std_dev = np.std(sample_means)
xmin, xmax = plt.xlim()
x = np.linspace(xmin, xmax, 100)
normal_dist = (1/(std_dev * np.sqrt(2 * np.pi))) * \
np.exp(-0.5 * ((x - mean) / std_dev) ** 2)
plt.plot(x, normal_dist, 'k', linewidth=2, label='正态分布曲线')
plt.title('样本均值的抽样分布（中心极限定理演示）')
plt.xlabel('样本均值')
plt.ylabel('密度')
plt.legend()
plt.grid(True)
plt.show()
结果分析
从生成的图表中，我们可以观察到：
- 蓝色柱状图表示从指数分布中抽取样本后计算得到的样本均值分布。
- 黑色曲线代表理论正态分布。
- 尽管原始数据来自指数分布（非正态分布），但样本均值的分布仍然呈现出明显的钟形，与正态分布曲线高度吻合。
- 样本均值分布的中心接近1，这与指数分布的理论均值一致。
- 分布的形状与正态分布曲线非常接近，有力地验证了中心极限定理。
结论
通过这个Python实例，我们直观地展示了中心极限定理的核心内容：即使原始总体不服从正态分布，只要样本量足够大，样本均值的分布就会近似正态分布。这一性质在统计推断、质量控制、金融分析等诸多领域都有着广泛的应用。
理解并掌握中心极限定理，不仅能帮助我们更好地理解统计学的基本原理，还能在实际问题中做出更准确的推断和决策。无论是在学术研究还是实际应用中，中心极限定理都是一个强大而实用的工具。