大数定理、切比雪夫不等式及其推导
大数定律
弱大数定律（Weak Law of Large Numbers, WLLN）
弱大数定律指出，当试验次数 (n) 趋向无穷大时，样本平均值 (\bar{X_n}) 与期望值 (\mu) 之间的差异以概率收敛于0。数学上表示为：
∀ ϵ > 0 , lim n → ∞ P ( ∣ 1 n ∑ i = 1 n X i − μ ∣ ≥ ϵ ) = 0 \forall \epsilon > 0, \lim_{n \to \infty} P\left( \left| \frac{1}{n} \sum_{i=1}^n X_i - \mu \right| \ge \epsilon \right) = 0 ∀ϵ>0,n→∞limP( n1i=1∑nXi−μ ≥ϵ)=0
其中， X n ˉ = 1 n ∑ i = 1 n X i \bar{X_n} = \frac{1}{n} \sum_{i=1}^n X_i Xnˉ=n1∑i=1nXi， X i X_i Xi 是独立同分布的随机变量，其期望值为 (\mu)。
强大数定律（Strong Law of Large Numbers, SLLN）
强大数定律更强一些，它指出样本平均值 X n ˉ \bar{X_n} Xnˉ 几乎必然地收敛于期望值 (\mu)。数学上表示为：
P ( lim n → ∞ X n ˉ = μ ) = 1 P\left( \lim_{n \to \infty} \bar{X_n} = \mu \right) = 1 P(n→∞limXnˉ=μ)=1
这意味着随着试验次数 n n n 的增加，样本平均值 X n ˉ \bar{X_n} Xnˉ 会以概率1收敛于期望值 μ \mu μ。
切比雪夫不等式
切比雪夫不等式（Chebyshev's Inequality）是概率论中的一个重要工具，用于描述随机变量偏离其期望值的概率界限。它不依赖于随机变量的具体分布，因此非常广泛和强大。
切比雪夫不等式的定义
切比雪夫不等式适用于任何具有有限期望值和方差的随机变量。具体来说，设 X X X 是一个随机变量，具有期望值 E [ X ] = μ \mathbb{E}[X] = \mu E[X]=μ 和方差 Var ( X ) = σ 2 \text{Var}(X) = \sigma^2 Var(X)=σ2。那么，对于任意正数 ϵ > 0 \epsilon > 0 ϵ>0，切比雪夫不等式表示为：
P ( ∣ X − μ ∣ ≥ ϵ ) ≤ σ 2 ϵ 2 P\left( |X - \mu| \ge \epsilon \right) \le \frac{\sigma^2}{\epsilon^2} P(∣X−μ∣≥ϵ)≤ϵ2σ2
切比雪夫不等式的推导
我们可以从 Markov 不等式出发推导切比雪夫不等式。Markov 不等式是：
P ( ∣ X ∣ ≥ a ) ≤ E [ ∣ X ∣ ] a P(|X| \ge a) \le \frac{\mathbb{E}[|X|]}{a} P(∣X∣≥a)≤aE[∣X∣]
对于非负随机变量 Y = ( X − μ ) 2 Y = (X - \mu)^2 Y=(X−μ)2，我们有：
P ( ( X − μ ) 2 ≥ ϵ 2 ) ≤ E [ ( X − μ ) 2 ] ϵ 2 P\left( (X - \mu)^2 \ge \epsilon^2 \right) \le \frac{\mathbb{E}[(X - \mu)^2]}{\epsilon^2} P((X−μ)2≥ϵ2)≤ϵ2E[(X−μ)2]
由于 E [ ( X − μ ) 2 ] = σ 2 \mathbb{E}[(X - \mu)^2] = \sigma^2 E[(X−μ)2]=σ2，得到：
P ( ( X − μ ) 2 ≥ ϵ 2 ) ≤ σ 2 ϵ 2 P\left( (X - \mu)^2 \ge \epsilon^2 \right) \le \frac{\sigma^2}{\epsilon^2} P((X−μ)2≥ϵ2)≤ϵ2σ2
注意到 P ( ( X − μ ) 2 ≥ ϵ 2 ) = P ( ∣ X − μ ∣ ≥ ϵ ) P\left( (X - \mu)^2 \ge \epsilon^2 \right) = P\left( |X - \mu| \ge \epsilon \right) P((X−μ)2≥ϵ2)=P(∣X−μ∣≥ϵ)，所以：
P ( ∣ X − μ ∣ ≥ ϵ ) ≤ σ 2 ϵ 2 P\left( |X - \mu| \ge \epsilon \right) \le \frac{\sigma^2}{\epsilon^2} P(∣X−μ∣≥ϵ)≤ϵ2σ2