切比雪夫不等式的理解以及推导【超详细笔记】

参考教程
一、意义
- [1. 正态分布的 3σ 法则](#1. 正态分布的 3σ 法则)
- [2. 不等式的含义](#2. 不等式的含义)
- [3. 不等式的意义](#3. 不等式的意义)
二、不等式的证明
- [1. 马尔科夫不等式](#1. 马尔科夫不等式)
- - [马尔可夫不等式证明( Y Y Y 为非负随机变量）](#马尔可夫不等式证明( Y Y Y 为非负随机变量）)
- [2. 切比雪夫不等式推导](#2. 切比雪夫不等式推导)

参考教程

不等式 ：切比雪夫不等式 P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 P\{|X - EX| \geq \varepsilon\} \leq \frac{DX}{\varepsilon^2} P{∣X−EX∣≥ε}≤ε2DX，用于描述随机变量偏离期望的概率上界
法则：正态分布的 3σ 法则
分布表示 ：正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)（图中标注对应分布形态）
概率占比 ：
- μ ± σ \mu \pm \sigma μ±σ 区间概率约 68.2%
- μ ± 2 σ \mu \pm 2\sigma μ±2σ 区间概率约 95.4%
- μ ± 3 σ \mu \pm 3\sigma μ±3σ 区间概率约 99.7%

切比雪夫不等式公式的另一种形式：

P { ∣ X − E X ∣ < ε } ≥ 1 − D X ε 2 P\{|X - EX| < \varepsilon\} \geq 1 - \frac{DX}{\varepsilon^2} P{∣X−EX∣<ε}≥1−ε2DX

（其中 ( X ) 是随机变量，( EX ) 为其期望，( DX ) 为方差，( \varepsilon ) 是任意正数）

∣ X − E X ∣ |X - EX| ∣X−EX∣就是X到均值的距离

这个公式就是对 ∣ X − E X ∣ < ε |X - EX| < \varepsilon ∣X−EX∣<ε这件事的概率做估计

当 ε \varepsilon ε = σ \sigma σ 时：
P { ∣ X − E X ∣ < σ } ≥ 1 − σ 2 σ 2 = 0 P\{|X - EX| < \sigma\} \geq 1 - \frac{\sigma^2}{\sigma^2} = 0 P{∣X−EX∣<σ}≥1−σ2σ2=0
当 ε \varepsilon ε = 2 σ 2\sigma 2σ 时：
P { ∣ X − E X ∣ < 2 σ } ≥ 1 − σ 2 ( 2 σ ) 2 = 1 − 1 4 = 3 4 = 75 % P\{|X - EX| < 2\sigma\} \geq 1 - \frac{\sigma^2}{(2\sigma)^2} = 1 - \frac{1}{4} = \frac{3}{4} = 75\% P{∣X−EX∣<2σ}≥1−(2σ)2σ2=1−41=43=75%

由此可见切比雪夫的估计比较保守

假如随便画一个分布，求阴影部分概率，切比雪夫不等式告诉我们这个概率一定大于等于75%，这就是其高明之处

公式： P { Y ≥ a } ≤ E Y a P\{ Y \geq a \} \leq \frac{EY}{a} P{Y≥a}≤aEY ( Y Y Y 取非负）

由期望定义， Y Y Y 的数学期望：
E Y = ∫ 0 + ∞ y ⋅ f ( y ) d y EY = \int_{0}^{+\infty} y \cdot f(y) \, dy EY=∫0+∞y⋅f(y)dy
因 Y ≥ 0 Y \geq 0 Y≥0，且积分区间可拆分，当 y ≥ a y \geq a y≥a 时 y ≥ a y \geq a y≥a，故：
E Y ≥ ∫ a + ∞ y ⋅ f ( y ) d y ≥ ∫ a + ∞ a ⋅ f ( y ) d y EY \geq \int_{a}^{+\infty} y \cdot f(y) \, dy \geq \int_{a}^{+\infty} a \cdot f(y) \, dy EY≥∫a+∞y⋅f(y)dy≥∫a+∞a⋅f(y)dy
化简右侧积分：
∫ a + ∞ a ⋅ f ( y ) d y = a ⋅ ∫ a + ∞ f ( y ) d y = a ⋅ P { Y ≥ a } \int_{a}^{+\infty} a \cdot f(y) \, dy = a \cdot \int_{a}^{+\infty} f(y) \, dy = a \cdot P\{ Y \geq a \} ∫a+∞a⋅f(y)dy=a⋅∫a+∞f(y)dy=a⋅P{Y≥a}
综上，整理得：
P { Y ≥ a } ≤ E Y a P\{ Y \geq a \} \leq \frac{EY}{a} P{Y≥a}≤aEY

基础：马尔可夫不等式
P { Y ≥ a } ≤ E Y a P\{ Y \geq a \} \leq \frac{EY}{a} P{Y≥a}≤aEY

（其中 ( Y ) 为非负随机变量）
变量代换：

令 Y = ( X − E X ) 2 Y = (X - EX)^2 Y=(X−EX)2， a = ε 2 a = \varepsilon^2 a=ε2
代入推导：
- 第一步推导：
  P { ( X − E X ) 2 ≥ ε 2 } ≤ E [ ( X − E X ) 2 ] ε 2 P\{ (X - EX)^2 \geq \varepsilon^2 \} \leq \frac{E\left[(X - EX)^2\right]}{\varepsilon^2} P{(X−EX)2≥ε2}≤ε2E[(X−EX)2]
- 因 E [ ( X − E X ) 2 ] = D X E\left[(X - EX)^2\right] = DX E[(X−EX)2]=DX（方差定义），且 ( X − E X ) 2 ≥ ε 2 ⇔ ∣ X − E X ∣ ≥ ε (X - EX)^2 \geq \varepsilon^2 \Leftrightarrow |X - EX| \geq \varepsilon (X−EX)2≥ε2⇔∣X−EX∣≥ε ，进一步得：
  P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 P\{ |X - EX| \geq \varepsilon \} \leq \frac{DX}{\varepsilon^2} P{∣X−EX∣≥ε}≤ε2DX