概率论与数理统计 -- 大数定理及切比雪夫不等式整理

大数定理、切比雪夫不等式及其推导

大数定律

弱大数定律(Weak Law of Large Numbers, WLLN)

弱大数定律指出,当试验次数 (n) 趋向无穷大时,样本平均值 (\bar{X_n}) 与期望值 (\mu) 之间的差异以概率收敛于0。数学上表示为:

∀ ϵ > 0 , lim ⁡ n → ∞ P ( ∣ 1 n ∑ i = 1 n X i − μ ∣ ≥ ϵ ) = 0 \forall \epsilon > 0, \lim_{n \to \infty} P\left( \left| \frac{1}{n} \sum_{i=1}^n X_i - \mu \right| \ge \epsilon \right) = 0 ∀ϵ>0,n→∞limP( n1i=1∑nXi−μ ≥ϵ)=0

其中, X n ˉ = 1 n ∑ i = 1 n X i \bar{X_n} = \frac{1}{n} \sum_{i=1}^n X_i Xnˉ=n1∑i=1nXi, X i X_i Xi 是独立同分布的随机变量,其期望值为 (\mu)。

强大数定律(Strong Law of Large Numbers, SLLN)

强大数定律更强一些,它指出样本平均值 X n ˉ \bar{X_n} Xnˉ 几乎必然地收敛于期望值 (\mu)。数学上表示为:

P ( lim ⁡ n → ∞ X n ˉ = μ ) = 1 P\left( \lim_{n \to \infty} \bar{X_n} = \mu \right) = 1 P(n→∞limXnˉ=μ)=1

这意味着随着试验次数 n n n 的增加,样本平均值 X n ˉ \bar{X_n} Xnˉ 会以概率1收敛于期望值 μ \mu μ。

切比雪夫不等式

切比雪夫不等式(Chebyshev's Inequality)是概率论中的一个重要工具,用于描述随机变量偏离其期望值的概率界限。它不依赖于随机变量的具体分布,因此非常广泛和强大。

切比雪夫不等式的定义

切比雪夫不等式适用于任何具有有限期望值和方差的随机变量。具体来说,设 X X X 是一个随机变量,具有期望值 E [ X ] = μ \mathbb{E}[X] = \mu E[X]=μ 和方差 Var ( X ) = σ 2 \text{Var}(X) = \sigma^2 Var(X)=σ2。那么,对于任意正数 ϵ > 0 \epsilon > 0 ϵ>0,切比雪夫不等式表示为:

P ( ∣ X − μ ∣ ≥ ϵ ) ≤ σ 2 ϵ 2 P\left( |X - \mu| \ge \epsilon \right) \le \frac{\sigma^2}{\epsilon^2} P(∣X−μ∣≥ϵ)≤ϵ2σ2

切比雪夫不等式的推导

我们可以从 Markov 不等式出发推导切比雪夫不等式。Markov 不等式是:

P ( ∣ X ∣ ≥ a ) ≤ E [ ∣ X ∣ ] a P(|X| \ge a) \le \frac{\mathbb{E}[|X|]}{a} P(∣X∣≥a)≤aE[∣X∣]

对于非负随机变量 Y = ( X − μ ) 2 Y = (X - \mu)^2 Y=(X−μ)2,我们有:

P ( ( X − μ ) 2 ≥ ϵ 2 ) ≤ E [ ( X − μ ) 2 ] ϵ 2 P\left( (X - \mu)^2 \ge \epsilon^2 \right) \le \frac{\mathbb{E}[(X - \mu)^2]}{\epsilon^2} P((X−μ)2≥ϵ2)≤ϵ2E[(X−μ)2]

由于 E [ ( X − μ ) 2 ] = σ 2 \mathbb{E}[(X - \mu)^2] = \sigma^2 E[(X−μ)2]=σ2,得到:

P ( ( X − μ ) 2 ≥ ϵ 2 ) ≤ σ 2 ϵ 2 P\left( (X - \mu)^2 \ge \epsilon^2 \right) \le \frac{\sigma^2}{\epsilon^2} P((X−μ)2≥ϵ2)≤ϵ2σ2

注意到 P ( ( X − μ ) 2 ≥ ϵ 2 ) = P ( ∣ X − μ ∣ ≥ ϵ ) P\left( (X - \mu)^2 \ge \epsilon^2 \right) = P\left( |X - \mu| \ge \epsilon \right) P((X−μ)2≥ϵ2)=P(∣X−μ∣≥ϵ),所以:

P ( ∣ X − μ ∣ ≥ ϵ ) ≤ σ 2 ϵ 2 P\left( |X - \mu| \ge \epsilon \right) \le \frac{\sigma^2}{\epsilon^2} P(∣X−μ∣≥ϵ)≤ϵ2σ2

相关推荐
幻风_huanfeng1 天前
人工智能之数学基础:概率论之韦恩图的应用
概率论·韦恩图
金色光环5 天前
切比雪夫不等式的理解以及推导【超详细笔记】
概率论
幻风_huanfeng6 天前
人工智能之数学基础:概率论和数理统计在机器学习的地位
人工智能·神经网络·线性代数·机器学习·概率论
点云SLAM7 天前
海森矩阵(Hessian Matrix)在SLAM图优化和点云配准中的应用介绍
算法·机器学习·矩阵·机器人·概率论·最小二乘法·数值优化
港港胡说12 天前
概率论-独立同分布
概率论
F_D_Z14 天前
【EM算法】三硬币模型
算法·机器学习·概率论·em算法·极大似然估计
金色光环17 天前
概率论:理解区间估计【超详细笔记】
笔记·数学·概率论·数理统计·区间估计
微小冷23 天前
二关节机器人系统模型推导
线性代数·机器人·概率论·推导·拉格朗日函数·二关节机器人·机器人控制系统的设计
软件开发技术深度爱好者23 天前
概率中“都发生”和“至少一个”问题的解答
概率论·数学广角
FF-Studio25 天前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论