概率论核心公式总结

一、基础概率公式 (Basic Probability Formulas)

1. 概率公理 (Probability Axioms)

非负性 (Non-negativity) ：
P(A)≥0 P(A) \geq 0 P(A)≥0
归一性 (Normalization) ：
P(Ω)=1 P(\Omega) = 1 P(Ω)=1
可列可加性 (Countable Additivity) ：对于互斥事件 A1,A2,...A_1, A_2, \ldotsA1,A2,...
P(⋃i=1∞Ai)=∑i=1∞P(Ai) P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i) P(i=1⋃∞Ai)=i=1∑∞P(Ai)

2. 补事件概率 (Complement Rule)

P(Ac)=1−P(A) P(A^c) = 1 - P(A) P(Ac)=1−P(A)

3. 布尔不等式 (Boole's Inequality / Union Bound)

对于任意事件集合 {Ai}\{A_i\}{Ai}：
P(⋃i=1nAi)≤∑i=1nP(Ai) P\left(\bigcup_{i=1}^n A_i\right) \leq \sum_{i=1}^n P(A_i) P(i=1⋃nAi)≤i=1∑nP(Ai)

更一般地：
P(⋃i=1∞Ai)≤∑i=1∞P(Ai) P\left(\bigcup_{i=1}^{\infty} A_i\right) \leq \sum_{i=1}^{\infty} P(A_i) P(i=1⋃∞Ai)≤i=1∑∞P(Ai)

4. 容斥原理 (Inclusion-Exclusion Principle)

对于事件 A1,A2,...,AnA_1, A_2, \ldots, A_nA1,A2,...,An：
P(⋃i=1nAi)=∑i=1nP(Ai)−∑1≤i<j≤nP(Ai∩Aj)+∑1≤i<j<k≤nP(Ai∩Aj∩Ak)−⋯+(−1)n+1P(⋂i=1nAi) P\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n P(A_i) - \sum_{1 \leq i < j \leq n} P(A_i \cap A_j) + \sum_{1 \leq i < j < k \leq n} P(A_i \cap A_j \cap A_k) - \cdots + (-1)^{n+1} P\left(\bigcap_{i=1}^n A_i\right) P(i=1⋃nAi)=i=1∑nP(Ai)−1≤i<j≤n∑P(Ai∩Aj)+1≤i<j<k≤n∑P(Ai∩Aj∩Ak)−⋯+(−1)n+1P(i=1⋂nAi)

特别地，对于两个事件：
P(A∪B)=P(A)+P(B)−P(A∩B) P(A \cup B) = P(A) + P(B) - P(A \cap B) P(A∪B)=P(A)+P(B)−P(A∩B)

对于三个事件：
P(A∪B∪C)=P(A)+P(B)+P(C)−P(A∩B)−P(A∩C)−P(B∩C)+P(A∩B∩C) P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A \cap B) - P(A \cap C) - P(B \cap C) + P(A \cap B \cap C) P(A∪B∪C)=P(A)+P(B)+P(C)−P(A∩B)−P(A∩C)−P(B∩C)+P(A∩B∩C)

5. 条件概率 (Conditional Probability)

P(A∣B)=P(A∩B)P(B),P(B)>0 P(A|B) = \frac{P(A \cap B)}{P(B)}, \quad P(B) > 0 P(A∣B)=P(B)P(A∩B),P(B)>0

6. 乘法公式 (Multiplication Rule)

P(A∩B)=P(A∣B)P(B)=P(B∣A)P(A) P(A \cap B) = P(A|B)P(B) = P(B|A)P(A) P(A∩B)=P(A∣B)P(B)=P(B∣A)P(A)

推广到n个事件：
P(⋂i=1nAi)=P(A1)P(A2∣A1)P(A3∣A1∩A2)⋯P(An|⋂i=1n−1Ai) P\left(\bigcap_{i=1}^n A_i\right) = P(A_1)P(A_2|A_1)P(A_3|A_1 \cap A_2) \cdots P\left(A_n \middle| \bigcap_{i=1}^{n-1} A_i\right) P(i=1⋂nAi)=P(A1)P(A2∣A1)P(A3∣A1∩A2)⋯P(An i=1⋂n−1Ai)

7. 全概率公式 (Law of Total Probability)

若 B1,B2,...,BnB_1, B_2, \ldots, B_nB1,B2,...,Bn 是样本空间的划分：
P(A)=∑i=1nP(A∣Bi)P(Bi) P(A) = \sum_{i=1}^n P(A|B_i)P(B_i) P(A)=i=1∑nP(A∣Bi)P(Bi)

8. 贝叶斯公式 (Bayes' Theorem)

P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj) P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)} P(Bi∣A)=∑j=1nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi)

二、独立性 (Independence)

1. 两事件独立 (Independence of Two Events)

事件 AAA 和 BBB 独立当且仅当满足以下等价条件之一：
P(A∩B)=P(A)P(B) P(A \cap B) = P(A)P(B) P(A∩B)=P(A)P(B)
P(A∣B)=P(A)(若 P(B)>0) P(A|B) = P(A) \quad (\text{若 } P(B) > 0) P(A∣B)=P(A)(若 P(B)>0)
P(B∣A)=P(B)(若 P(A)>0) P(B|A) = P(B) \quad (\text{若 } P(A) > 0) P(B∣A)=P(B)(若 P(A)>0)

2. 两两独立 (Pairwise Independence)

事件集合 {A1,A2,...,An}\{A_1, A_2, \ldots, A_n\}{A1,A2,...,An} 两两独立，如果对任意 i≠ji \neq ji=j：
P(Ai∩Aj)=P(Ai)P(Aj) P(A_i \cap A_j) = P(A_i)P(A_j) P(Ai∩Aj)=P(Ai)P(Aj)

3. 相互独立 (Mutual Independence / Full Independence)

事件集合 {A1,A2,...,An}\{A_1, A_2, \ldots, A_n\}{A1,A2,...,An} 相互独立，如果对任意子集 I⊆{1,2,...,n}I \subseteq \{1, 2, \ldots, n\}I⊆{1,2,...,n}：
P(⋂i∈IAi)=∏i∈IP(Ai) P\left(\bigcap_{i \in I} A_i\right) = \prod_{i \in I} P(A_i) P(i∈I⋂Ai)=i∈I∏P(Ai)

特别地，三个事件 A,B,CA, B, CA,B,C 相互独立当且仅当：

P(A∩B)=P(A)P(B)P(A \cap B) = P(A)P(B)P(A∩B)=P(A)P(B)
P(A∩C)=P(A)P(C)P(A \cap C) = P(A)P(C)P(A∩C)=P(A)P(C)
P(B∩C)=P(B)P(C)P(B \cap C) = P(B)P(C)P(B∩C)=P(B)P(C)
P(A∩B∩C)=P(A)P(B)P(C)P(A \cap B \cap C) = P(A)P(B)P(C)P(A∩B∩C)=P(A)P(B)P(C)

4. 条件独立 (Conditional Independence)

在给定事件 CCC 的条件下，AAA 和 BBB 条件独立，如果：
P(A∩B∣C)=P(A∣C)P(B∣C) P(A \cap B | C) = P(A|C)P(B|C) P(A∩B∣C)=P(A∣C)P(B∣C)

三、排列组合与计数公式 (Permutations, Combinations and Counting Formulas)

1. 基本原理 (Basic Principles)

加法原理 (Addition Principle) ：如果任务可通过 mmm 种方式或 nnn 种方式完成，且这些方式不重叠，则总方式数为 m+nm + nm+n
乘法原理 (Multiplication Principle) ：如果任务由两个步骤组成，第一步有 mmm 种方式，第二步有 nnn 种方式，则总方式数为 m×nm \times nm×n

2. 排列 (Permutations)

无放回有顺序排列 (Permutations without Replacement / Ordered Sampling) ：

从 nnn 个不同元素中选取 kkk 个进行排列：
P(n,k)=nk‾=n!(n−k)!,0≤k≤n P(n, k) = n^{\underline{k}} = \frac{n!}{(n-k)!}, \quad 0 \leq k \leq n P(n,k)=nk=(n−k)!n!,0≤k≤n

特别地，全排列：P(n,n)=n!P(n, n) = n!P(n,n)=n!
有放回有顺序排列 (Permutations with Replacement / Ordered Sampling with Replacement) ：

从 nnn 个不同元素中有放回地选取 kkk 个进行排列：
nk n^k nk

3. 组合 (Combinations)

无放回无顺序组合 (Combinations without Replacement / Unordered Sampling) ：

从 nnn 个不同元素中选取 kkk 个的组合数：
(nk)=C(n,k)=n!k!(n−k)!,0≤k≤n \binom{n}{k} = C(n, k) = \frac{n!}{k!(n-k)!}, \quad 0 \leq k \leq n (kn)=C(n,k)=k!(n−k)!n!,0≤k≤n

性质：
(nk)=(nn−k),(n0)=1,(n1)=n \binom{n}{k} = \binom{n}{n-k}, \quad \binom{n}{0} = 1, \quad \binom{n}{1} = n (kn)=(n−kn),(0n)=1,(1n)=n
有放回无顺序组合 (Combinations with Replacement / Unordered Sampling with Replacement) ：

从 nnn 个不同元素中有放回地选取 kkk 个的组合数（允许重复）：
(n+k−1k)=(n+k−1)!k!(n−1)! \binom{n + k - 1}{k} = \frac{(n + k - 1)!}{k!(n-1)!} (kn+k−1)=k!(n−1)!(n+k−1)!

4. 多重集合排列 (Multiset Permutations)

有重复元素的全排列 ：
nnn 个元素中有 n1n_1n1 个第1类，n2n_2n2 个第2类，...，nkn_knk 个第k类（∑ni=n\sum n_i = n∑ni=n）：
n!n1!n2!⋯nk! \frac{n!}{n_1! n_2! \cdots n_k!} n1!n2!⋯nk!n!

四、随机变量与分布 (Random Variables and Distributions)

1. 概率质量函数 (Probability Mass Function, PMF)

离散随机变量 XXX：
pX(x)=P(X=x) p_X(x) = P(X = x) pX(x)=P(X=x)

满足：
∑x∈XpX(x)=1 \sum_{x \in \mathcal{X}} p_X(x) = 1 x∈X∑pX(x)=1

2. 概率密度函数 (Probability Density Function, PDF)

连续随机变量 XXX：
P(a≤X≤b)=∫abfX(x)dx P(a \leq X \leq b) = \int_a^b f_X(x) dx P(a≤X≤b)=∫abfX(x)dx

满足：
∫−∞∞fX(x)dx=1 \int_{-\infty}^{\infty} f_X(x) dx = 1 ∫−∞∞fX(x)dx=1

3. 累积分布函数 (Cumulative Distribution Function, CDF)

FX(x)=P(X≤x)={∑t≤xpX(t)离散∫−∞xfX(t)dt连续 F_X(x) = P(X \leq x) = \begin{cases} \sum_{t \leq x} p_X(t) & \text{离散} \\ \int_{-\infty}^x f_X(t) dt & \text{连续} \end{cases} FX(x)=P(X≤x)={∑t≤xpX(t)∫−∞xfX(t)dt离散连续

4. 联合分布 (Joint Distributions)

联合PMF：pX,Y(x,y)=P(X=x,Y=y)p_{X,Y}(x,y) = P(X = x, Y = y)pX,Y(x,y)=P(X=x,Y=y)
联合PDF：fX,Y(x,y)f_{X,Y}(x,y)fX,Y(x,y)
联合CDF：FX,Y(x,y)=P(X≤x,Y≤y)F_{X,Y}(x,y) = P(X \leq x, Y \leq y)FX,Y(x,y)=P(X≤x,Y≤y)

5. 边缘分布 (Marginal Distributions)

离散：
pX(x)=∑ypX,Y(x,y) p_X(x) = \sum_{y} p_{X,Y}(x,y) pX(x)=y∑pX,Y(x,y)

连续：
fX(x)=∫−∞∞fX,Y(x,y)dy f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x,y) dy fX(x)=∫−∞∞fX,Y(x,y)dy

6. 条件分布 (Conditional Distributions)

离散：
pX∣Y(x∣y)=pX,Y(x,y)pY(y) p_{X|Y}(x|y) = \frac{p_{X,Y}(x,y)}{p_Y(y)} pX∣Y(x∣y)=pY(y)pX,Y(x,y)

连续：
fX∣Y(x∣y)=fX,Y(x,y)fY(y) f_{X|Y}(x|y) = \frac{f_{X,Y}(x,y)}{f_Y(y)} fX∣Y(x∣y)=fY(y)fX,Y(x,y)

7. 随机变量独立性 (Independence of Random Variables)

随机变量 XXX 和 YYY 独立当且仅当：

FX,Y(x,y)=FX(x)FY(y)F_{X,Y}(x,y) = F_X(x)F_Y(y)FX,Y(x,y)=FX(x)FY(y)
pX,Y(x,y)=pX(x)pY(y)p_{X,Y}(x,y) = p_X(x)p_Y(y)pX,Y(x,y)=pX(x)pY(y)（离散）
fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y) = f_X(x)f_Y(y)fX,Y(x,y)=fX(x)fY(y)（连续）

多个随机变量相互独立当且仅当对任意子集：
FX1,...,Xn(x1,...,xn)=∏i=1nFXi(xi) F_{X_1,\ldots,X_n}(x_1,\ldots,x_n) = \prod_{i=1}^n F_{X_i}(x_i) FX1,...,Xn(x1,...,xn)=i=1∏nFXi(xi)

五、期望与矩 (Expectation and Moments)

1. 期望 (Expectation)

离散：
E[X]=∑xxpX(x) E[X] = \sum_{x} x p_X(x) E[X]=x∑xpX(x)

连续：
E[X]=∫−∞∞xfX(x)dx E[X] = \int_{-\infty}^{\infty} x f_X(x) dx E[X]=∫−∞∞xfX(x)dx

2. 期望的性质 (Properties of Expectation)

线性性：E[aX+bY+c]=aE[X]+bE[Y]+cE[aX + bY + c] = aE[X] + bE[Y] + cE[aX+bY+c]=aE[X]+bE[Y]+c
若 XXX 和 YYY 独立：E[XY]=E[X]E[Y]E[XY] = E[X]E[Y]E[XY]=E[X]E[Y]

3. 方差 (Variance)

Var(X)=E[(X−E[X])2]=E[X2]−(E[X])2 \text{Var}(X) = E[(X - E[X])^2] = E[X^2] - (E[X])^2 Var(X)=E[(X−E[X])2]=E[X2]−(E[X])2

4. 协方差 (Covariance)

Cov(X,Y)=E[(X−E[X])(Y−E[Y])]=E[XY]−E[X]E[Y] \text{Cov}(X,Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X]E[Y] Cov(X,Y)=E[(X−E[X])(Y−E[Y])]=E[XY]−E[X]E[Y]

5. 相关系数 (Correlation Coefficient)

ρX,Y=Cov(X,Y)Var(X)Var(Y) \rho_{X,Y} = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}} ρX,Y=Var(X)Var(Y) Cov(X,Y)

6. 矩 (Moments)

kkk阶矩：E[Xk]E[X^k]E[Xk]
kkk阶中心矩：E[(X−E[X])k]E[(X - E[X])^k]E[(X−E[X])k]

7. 矩生成函数 (Moment Generating Function, MGF)

MX(t)=E[etX] M_X(t) = E[e^{tX}] MX(t)=E[etX]

性质：
E[Xk]=dkdtkMX(t)∣t=0 E[X^k] = \left. \frac{d^k}{dt^k} M_X(t) \right|_{t=0} E[Xk]=dtkdkMX(t) t=0

六、常见概率分布 (Common Probability Distributions)

1. 离散分布 (Discrete Distributions)

伯努利分布 (Bernoulli Distribution)

X∼Bernoulli(p) X \sim \text{Bernoulli}(p) X∼Bernoulli(p)
P(X=1)=p,P(X=0)=1−p,E[X]=p,Var(X)=p(1−p) P(X=1)=p, \quad P(X=0)=1-p, \quad E[X]=p, \quad \text{Var}(X)=p(1-p) P(X=1)=p,P(X=0)=1−p,E[X]=p,Var(X)=p(1−p)

二项分布 (Binomial Distribution)

X∼Binomial(n,p) X \sim \text{Binomial}(n,p) X∼Binomial(n,p)
P(X=k)=(nk)pk(1−p)n−k,E[X]=np,Var(X)=np(1−p) P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad E[X]=np, \quad \text{Var}(X)=np(1-p) P(X=k)=(kn)pk(1−p)n−k,E[X]=np,Var(X)=np(1−p)

泊松分布 (Poisson Distribution)

X∼Poisson(λ) X \sim \text{Poisson}(\lambda) X∼Poisson(λ)
P(X=k)=λke−λk!,E[X]=λ,Var(X)=λ P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad E[X]=\lambda, \quad \text{Var}(X)=\lambda P(X=k)=k!λke−λ,E[X]=λ,Var(X)=λ

几何分布 (Geometric Distribution)

X∼Geometric(p) X \sim \text{Geometric}(p) X∼Geometric(p)
P(X=k)=(1−p)k−1p,E[X]=1p,Var(X)=1−pp2 P(X=k) = (1-p)^{k-1}p, \quad E[X]=\frac{1}{p}, \quad \text{Var}(X)=\frac{1-p}{p^2} P(X=k)=(1−p)k−1p,E[X]=p1,Var(X)=p21−p

2. 连续分布 (Continuous Distributions)

均匀分布 (Uniform Distribution)

X∼U(a,b) X \sim U(a,b) X∼U(a,b)
fX(x)=1b−a,a≤x≤b f_X(x) = \frac{1}{b-a}, \quad a \leq x \leq b fX(x)=b−a1,a≤x≤b
E[X]=a+b2,Var(X)=(b−a)212 E[X]=\frac{a+b}{2}, \quad \text{Var}(X)=\frac{(b-a)^2}{12} E[X]=2a+b,Var(X)=12(b−a)2

正态分布 (Normal/Gaussian Distribution)

X∼N(μ,σ2) X \sim N(\mu, \sigma^2) X∼N(μ,σ2)
fX(x)=12πσ2exp⁡(−(x−μ)22σ2) f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) fX(x)=2πσ2 1exp(−2σ2(x−μ)2)
E[X]=μ,Var(X)=σ2 E[X]=\mu, \quad \text{Var}(X)=\sigma^2 E[X]=μ,Var(X)=σ2

指数分布 (Exponential Distribution)

X∼Exp(λ) X \sim \text{Exp}(\lambda) X∼Exp(λ)
fX(x)=λe−λx,x≥0 f_X(x) = \lambda e^{-\lambda x}, \quad x \geq 0 fX(x)=λe−λx,x≥0
E[X]=1λ,Var(X)=1λ2 E[X]=\frac{1}{\lambda}, \quad \text{Var}(X)=\frac{1}{\lambda^2} E[X]=λ1,Var(X)=λ21

伽马分布 (Gamma Distribution)

X∼Gamma(α,β) X \sim \text{Gamma}(\alpha, \beta) X∼Gamma(α,β)
fX(x)=βαΓ(α)xα−1e−βx,x>0 f_X(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}, \quad x > 0 fX(x)=Γ(α)βαxα−1e−βx,x>0
E[X]=αβ,Var(X)=αβ2 E[X]=\frac{\alpha}{\beta}, \quad \text{Var}(X)=\frac{\alpha}{\beta^2} E[X]=βα,Var(X)=β2α

七、极限定理 (Limit Theorems)

1. 大数定律 (Law of Large Numbers)

弱大数定律：设 X1,X2,...X_1, X_2, \ldotsX1,X2,... 独立同分布，E[Xi]=μE[X_i] = \muE[Xi]=μ，则
lim⁡n→∞P(∣1n∑i=1nXi−μ∣≥ε)=0 \lim_{n \to \infty} P\left(\left|\frac{1}{n}\sum_{i=1}^n X_i - \mu\right| \geq \varepsilon\right) = 0 n→∞limP( n1i=1∑nXi−μ ≥ε)=0

2. 中心极限定理 (Central Limit Theorem)

设 X1,X2,...X_1, X_2, \ldotsX1,X2,... 独立同分布，E[Xi]=μE[X_i] = \muE[Xi]=μ，Var(Xi)=σ2\text{Var}(X_i) = \sigma^2Var(Xi)=σ2，则
1n∑i=1nXi−μσ/n→dN(0,1) \frac{\frac{1}{n}\sum_{i=1}^n X_i - \mu}{\sigma/\sqrt{n}} \xrightarrow{d} N(0,1) σ/n n1∑i=1nXi−μd N(0,1)

八、变换与生成函数 (Transforms and Generating Functions)

1. 特征函数 (Characteristic Function)

φX(t)=E[eitX]=∫−∞∞eitxfX(x)dx \varphi_X(t) = E[e^{itX}] = \int_{-\infty}^{\infty} e^{itx} f_X(x) dx φX(t)=E[eitX]=∫−∞∞eitxfX(x)dx

2. 概率生成函数 (Probability Generating Function, PGF)

离散随机变量：
GX(z)=E[zX]=∑k=0∞pX(k)zk G_X(z) = E[z^X] = \sum_{k=0}^{\infty} p_X(k) z^k GX(z)=E[zX]=k=0∑∞pX(k)zk

九、不等式 (Inequalities)

1. 马尔可夫不等式 (Markov's Inequality)

若 X≥0X \geq 0X≥0，则
P(X≥a)≤E[X]a,a>0 P(X \geq a) \leq \frac{E[X]}{a}, \quad a > 0 P(X≥a)≤aE[X],a>0

2. 切比雪夫不等式 (Chebyshev's Inequality)

P(∣X−E[X]∣≥kσ)≤1k2,k>0 P(|X - E[X]| \geq k\sigma) \leq \frac{1}{k^2}, \quad k > 0 P(∣X−E[X]∣≥kσ)≤k21,k>0

3. 柯西-施瓦茨不等式 (Cauchy-Schwarz Inequality)

∣E[XY]∣2≤E[X2]E[Y2] |E[XY]|^2 \leq E[X^2]E[Y^2] ∣E[XY]∣2≤E[X2]E[Y2]

4. 詹森不等式 (Jensen's Inequality)

若 fff 是凸函数，则
f(E[X])≤E[f(X)] f(E[X]) \leq E[f(X)] f(E[X])≤E[f(X)]

概率论 核心公式总结