【课堂笔记】概率论-1

文章目录

• • 定义
  • • [样本空间（Sample Space）](#样本空间（Sample Space）)
    • 事件（Event）
    • 事件运算
    • 概率
    • [条件概率（Conditional Probability）](#条件概率（Conditional Probability）)
    • 独立性（Independence）
    • [随机变量（Random Variable, r.v.）](#随机变量（Random Variable, r.v.）)
    • [分布函数（Distribution Function）](#分布函数（Distribution Function）)
    • 概率质量函数（pmf）与概率密度函数（pdf）
    • 期望（Expectation）
    • [方差与矩（Moments and Variance）](#方差与矩（Moments and Variance）)
    • [点质量（Point Mass）](#点质量（Point Mass）)
    • 正态分布
    • 泊松分布
  • 定理
  • • [德摩根定律（DeMorgan's Laws）](#德摩根定律（DeMorgan’s Laws）)
    • [全概率公式（Law of Total Probability）](#全概率公式（Law of Total Probability）)
    • [贝叶斯公式（Bayes' Formula）](#贝叶斯公式（Bayes’ Formula）)
    • [包含-排除恒等式（Inclusion-Exclusion Identity）](#包含-排除恒等式（Inclusion-Exclusion Identity）)
    • [乘法法则（Multiplication Rule）](#乘法法则（Multiplication Rule）)
    • 正态分布的线性变换定理
    • 标准正态分布的基本定理
    • [独立性传递定理（Independence Closure）](#独立性传递定理（Independence Closure）)
    • 独立性对偶定理

定义

样本空间（Sample Space）

• 记作 Ω \Omega Ω，是一个实验所有可能结果的集合。
• 例如：抛硬币的样本空间是 {   H , T   } \set{H, T} {H,T}，测量灯泡寿命的样本空间是 [ 0 , ∞ ) [0, \infty) [0,∞)

事件（Event）

• 事件是样本空间的一个子集 E ⊆ Ω E \subseteq \Omega E⊆Ω，表示某些结果的集合。
• 当实验结果属于 E E E时，称事件 E E E发生

事件运算

• 并事件 E ∪ F E \cup F E∪F，E或F发生
• 交事件 E F EF EF或 E ∩ F E \cap F E∩F： E , F E, F E,F同时发生
• 互斥事件（Mutually Exclusive）： E F = ∅ EF = \empty EF=∅， E E E， F F F不能同时发生
• 补事件 E c E^c Ec： E E E不发生
• 包含关系 E ⊂ F E \subset F E⊂F： E E E的所有结果都在 F F F中
• 差事件 E − F E - F E−F： E E E发生但 F F F不发生

概率

对任意事件 E E E，概率函数 P ( E ) P(E) P(E)需满足：

• 非负性： P ( E ) > 0 P(E) > 0 P(E)>0
• 规范性： P ( Ω ) = 1 P(\Omega) = 1 P(Ω)=1
• 可加性：若 E 1 , . . . , E n E_1, ..., E_n E1,...,En两两互斥，则
  P ( ⋃ E i ) = ∑ P ( E i ) P(\bigcup E_i) = \sum P(E_i) P(⋃Ei)=∑P(Ei)

条件概率（Conditional Probability）

定义为 P ( E ∣ F ) = P ( E F ) / P ( F ) P(E\mid F) = P(EF) / P(F) P(E∣F)=P(EF)/P(F)，当 P ( F ) > 0 P(F) > 0 P(F)>0， 表示在事件 F F F发生的前提下，事件 E E E发生的概率

独立性（Independence）

• 两个事件 E , F E, F E,F独立，当且仅当 P ( E F ) = P ( E ) P ( F ) P(EF) = P(E)P(F) P(EF)=P(E)P(F)，记为 E ⊥  ⁣ ⁣ ⊥ F E \perp\!\!\perp F E⊥⊥F
• 由条件概率可以得到推论：若 E ⊥  ⁣ ⁣ ⊥ F E \perp\!\!\perp F E⊥⊥F，则 P ( E ∣ F ) = P ( E ) P(E\mid F) = P(E) P(E∣F)=P(E)
• 多个事件 E , F , G E,F,G E,F,G独立需要满足所有两两独立且联合概率等于概率乘积，即：
  P ( E F G ) = P ( E ) P ( F ) P ( G ) P(EFG) = P(E)P(F)P(G) P(EFG)=P(E)P(F)P(G)

随机变量（Random Variable, r.v.）

• 是定义在样本空间上的实值函数 X ( ω ) , ω ∈ Ω X(\omega), \omega \in \Omega X(ω),ω∈Ω
• 形式上要求可测：对任意 Borel 集 B B B，有 X − 1 ( B ) ∈ F X^{-1}(B) \in F X−1(B)∈F
• 通常用大写字母表示随机变量，用小写字母表示其取值

分布函数（Distribution Function）

• 定义为 F ( x ) = P ( X ≤ x ) F(x) = P(X \le x) F(x)=P(X≤x)，称为累积分布函数（CDF）。
• 分布函数完全刻画了随机变量的概率性质。

概率质量函数（pmf）与概率密度函数（pdf）

• 离散型：pmf 定义为 p ( x ) = P ( X = x ) p(x) = P(X = x) p(x)=P(X=x)
• 连续型：若 F ′ ( x ) = f ( x ) F'(x) = f(x) F′(x)=f(x), 则 f ( x ) f(x) f(x)是概率密度函数（pdf），满足：
  P ( a < X ≤ b ) = ∫ a b f ( x ) d x P(a < X \le b) = \int_a^b f(x)dx P(a<X≤b)=∫abf(x)dx

期望（Expectation）

• 统一定义为： E [ X ] = ∫ Ω X ( ω ) d P ( ω ) = ∫ R x d F ( x ) \mathbb{E}[X] = \int_\Omega X(\omega) dP(\omega) = \int_\mathbb{R} xdF(x) E[X]=∫ΩX(ω)dP(ω)=∫RxdF(x)
• 离散情形： E [ X ] = ∑ x i P ( x i ) \mathbb{E}[X] = \sum x_iP(x_i) E[X]=∑xiP(xi)
• 连续情形： E [ X ] = ∫ x f ( x ) d x \mathbb{E}[X] = \int xf(x)dx E[X]=∫xf(x)dx

方差与矩（Moments and Variance）

• 第 n n n阶矩： E [ X n ] \mathbb{E}[X^n] E[Xn]
• 均值 μ = E [ X ] \mu = \mathbb{E}[X] μ=E[X]
• 方差 Var [ X ] = E [ ( X − μ ) 2 ] = E [ X 2 ] − [ E ( X ) ] 2 \text{Var}[X] = \mathbb{E}[(X-\mu)^2] = \mathbb{E}[X^2] - [\mathbb{E}(X)]^2 Var[X]=E[(X−μ)2]=E[X2]−[E(X)]2
• 标准差 SD [ X ] = Var ( X ) \text{SD}[X] = \sqrt{\text{Var}(X)} SD[X]=Var(X)

方差性质： Var [ a X + b ] = a 2 Var [ X ] \text{Var}[aX+b] = a^2\text{Var}[X] Var[aX+b]=a2Var[X]

点质量（Point Mass）

• P ( X = a ) = F ( a ) − F ( a − ) P(X=a) = F(a) - F(a^-) P(X=a)=F(a)−F(a−)，即分布函数在 a a a处的跳跃大小
• 若 F F F在 a a a处连续，则 P ( X = a ) = 0 P(X=a) = 0 P(X=a)=0

正态分布

一个连续型随机变量 X X X服从参数为 μ \mu μ和 σ 2 \sigma^2 σ2的正态分布，记作
X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X∼N(μ,σ2)

当它的概率密度函数为：
f ( x ) = 1 2 π   σ exp ⁡ ( − 1 2 σ 2 ( x − μ ) 2 ) f(x) = \frac{1}{\sqrt{2\pi}\,\sigma} \exp\left( -\frac{1}{2\sigma^2}(x - \mu)^2 \right) f(x)=2π σ1exp(−2σ21(x−μ)2)

泊松分布

如果一个离散型随机变量 X X X的概率质量函数为：
P ( X = k ) = e − λ λ k k ! , k = 0 , 1 , . . . P(X=k) = \frac{e^{-\lambda}\lambda^k}{k!}, k=0, 1, ... P(X=k)=k!e−λλk,k=0,1,...

其中 λ > 0 \lambda > 0 λ>0是参数，表示单位时间内事件发生的平均次数，则称 X X X服从参数为 λ \lambda λ的泊松分布，记为：
X ∼ Poi ( λ ) X \sim \text{Poi}(\lambda) X∼Poi(λ)

性质：
E [ X ] = λ Var [ X ] = λ \mathbb{E}[X] = \lambda \\ \text{Var}[X] = \lambda E[X]=λVar[X]=λ

定理

德摩根定律（DeMorgan's Laws）

并集的补等于补集的交， 交集的补等于补集的并：
( ⋃ i = 1 n E i ) c = ⋂ i = 1 n E i c ( ⋂ i = 1 n E i ) c = ⋃ i = 1 n E i c \left( \bigcup_{i=1}^n E_i \right)^c = \bigcap_{i=1}^n E_i^c \\ \ \\ \left( \bigcap_{i=1}^n E_i \right)^c = \bigcup_{i=1}^n E_i^c (i=1⋃nEi)c=i=1⋂nEic (i=1⋂nEi)c=i=1⋃nEic

全概率公式（Law of Total Probability）

若 F 1 , F 2 , . . . , F n F₁, F₂, ..., Fₙ F1,F2,...,Fn 两两互斥且 ⋃ F i = Ω \bigcup Fᵢ = \Omega ⋃Fi=Ω，则：
P ( E ) = ∑ P ( E ∣ F i ) P ( F i ) P(E) = \sum P(E\mid F_i)P(F_i) P(E)=∑P(E∣Fi)P(Fi)

贝叶斯公式（Bayes' Formula）

P ( F i ∣ E ) = P ( E ∣ F i ) P ( F i ) ∑ P ( E ∣ F j ) P ( F j ) P(F_i\mid E) = \frac{P(E\mid F_i)P(F_i)}{\sum P(E\mid F_j)P(F_j)} P(Fi∣E)=∑P(E∣Fj)P(Fj)P(E∣Fi)P(Fi)

包含-排除恒等式（Inclusion-Exclusion Identity）

用于计算多个事件并的概率：
P ( ⋃ n i = 1 E i ) = ∑ P ( E i ) − ∑ i < j P ( E i E j ) + ∑ i < j < k P ( E i E j E k ) − . . . + ( − 1 ) n + 1 P ( E 1 E 2 . . . E n ) P(\underset{i=1}{\overset{n}{\bigcup}} E_i) = \sum P(E_i) - \underset{i<j}{\sum}P(E_iE_j) + \underset{i<j<k}{\sum}P(E_iE_jE_k) - ... + (-1)^{n+1} P(E_1E_2...E_n) P(i=1⋃nEi)=∑P(Ei)−i<j∑P(EiEj)+i<j<k∑P(EiEjEk)−...+(−1)n+1P(E1E2...En)

乘法法则（Multiplication Rule）

• 公式：
  P ( E F ) = P ( E ) P ( F ∣ E ) = P ( F ) P ( E ∣ F ) P(EF) = P(E)P(F\mid E) = P(F)P(E\mid F) P(EF)=P(E)P(F∣E)=P(F)P(E∣F)
• 推广到多个事件：
  P ( E 1 E 2 . . . E n ) = P ( E 1 ) P ( E 2 ∣ E 1 ) . . . P ( E n ∣ E 1 . . . E n ) P(E_1E_2...E_n) = P(E_1)P(E_2\mid E_1) ... P(E_n\mid E_1 ... E_n) P(E1E2...En)=P(E1)P(E2∣E1)...P(En∣E1...En)

正态分布的线性变换定理

• 若 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X∼N(μ,σ2)，则 Y = a X + b ∼ N ( a μ + b , a 2 σ 2 ) Y = aX + b \sim N(a\mu + b, a^2\sigma^2) Y=aX+b∼N(aμ+b,a2σ2)
• 特别地，标准化变量 Z = X − μ σ ∼ N ( 0 , 1 ) Z = \frac{X - \mu}{\sigma} \sim N(0, 1) Z=σX−μ∼N(0,1)

标准正态分布的基本定理

设 Z ∼ N ( 0 , 1 ) Z \sim N(0, 1) Z∼N(0,1)

• ∫ − ∞ + ∞ 1 2 π e − x 2 / 2 d x = 1 \int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}} e^{-x^2 / 2} dx = 1 ∫−∞+∞2π 1e−x2/2dx=1
• E [ Z ] = 0 E[Z] = 0 E[Z]=0
• Var [ Z ] = 1 \text{Var}[Z] = 1 Var[Z]=1

独立性传递定理（Independence Closure）

若事件 E , F , G E, F, G E,F,G相互独立，则 E E E与由 F , G F, G F,G构成的任何事件独立，例如：
E ⊥  ⁣ ⁣ ⁣ ⊥ F ∪ G E ⊥  ⁣ ⁣ ⁣ ⊥ F ∩ G E ⊥  ⁣ ⁣ ⁣ ⊥ F c E ⊥  ⁣ ⁣ ⁣ ⊥ F ∪ G c E \perp\!\!\!\perp F \cup G \\ E \perp\!\!\!\perp F \cap G \\ E \perp\!\!\!\perp F^c \\ E \perp\!\!\!\perp F \cup G^c E⊥⊥F∪GE⊥⊥F∩GE⊥⊥FcE⊥⊥F∪Gc

独立性对偶定理

E ⊥  ⁣ ⁣ ⁣ ⊥ F ⇔ E ⊥  ⁣ ⁣ ⁣ ⊥ F c E \perp\!\!\!\perp F \Leftrightarrow E \perp\!\!\!\perp F^c E⊥⊥F⇔E⊥⊥Fc