条件概率公式（定义）
P ( A ∣ B ) = P ( A , B ) P ( B ) P(A|B)=\frac{P(A,B)}{P(B)} P(A∣B)=P(B)P(A,B)
条件概率公式是定义，无法进行公式推导
条件概率 P ( A ∣ B ) P(A|B) P(A∣B)指在事件 B B B发生的条件下，事件 A A A发生的概率
联合概率 P ( A , B ) P(A,B) P(A,B)指事件A、事件B同时发生的概率
全概率公式（定理）
P ( A ) = ∑ i P ( A ∣ B i ) P ( B i ) P(A)=\sum_{i}{P(A|B_i)P(B_i)} P(A)=∑iP(A∣Bi)P(Bi)
推导过程
- 样本空间的划分 ：假设 B 1 , B 2 , B 3 , . . . , B n B_1,B_2,B_3,...,B_n B1,B2,B3,...,Bn是样本空间 S S S的一个划分，即它们互斥（ P ( B i , B j ) = 0 P(B_i,B_j)=0 P(Bi,Bj)=0对于所有 i ≠ j i\neq j i=j）且它们的并集是整个样本空间（ ∑ i = 1 n P ( B i ) = 1 \sum_{i=1}^nP(B_i)=1 ∑i=1nP(Bi)=1）
- 事件 A A A的表示 ：由于 B 1 , B 2 , B 3 , . . . , B n B_1,B_2,B_3,...,B_n B1,B2,B3,...,Bn是样本空间 S S S的划分，事件 A A A可以表示为 A A A与每个 B i B_i Bi的交集的并集，即： P ( A ) = ∑ i = 1 n P ( A , B i ) P(A)=\sum_{i=1}^nP(A,B_i) P(A)=∑i=1nP(A,Bi)
- 条件概率的定义 ：根据条件概率的定义， P ( A , B ) = P ( A ∣ B ) P ( B ) P(A,B)=P(A|B){P(B)} P(A,B)=P(A∣B)P(B)， P ( A ) = ∑ i = 1 n P ( A , B i ) = ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P(A)=\sum_{i=1}^nP(A,B_i)=\sum_{i=1}^nP(A|B_i)P(B_i) P(A)=∑i=1nP(A,Bi)=∑i=1nP(A∣Bi)P(Bi)
贝叶斯公式（定理）
含义
我们需要在证据 B B B出现的条件下，计算假设 A A A 成立的概率
公式： P ( A ∣ B ) = P ( B ∣ A ) P ( B ) P ( A ) P(A|B)=\frac{P(B|A)}{P(B)}P(A) P(A∣B)=P(B)P(B∣A)P(A)
名词定义：
- P ( A ∣ B ) P(A|B) P(A∣B)，表示后验概率，即目标概率，指的是在证据B出现之后，得到的概率
- P ( A ) P(A) P(A)，表示先验概率，指的是在证据 B B B出现之前，预先得到的概率
- P ( B ∣ A ) P ( B ) \frac{P(B|A)}{P(B)} P(B)P(B∣A)，表示可能性函数
- P ( B ∣ A ) P(B|A) P(B∣A)，表示似然概率，是在假设 A A A成立的条件下证据 B B B出现的概率，即似然概率。
- P ( B ) P(B) P(B)，表示边缘概率，是证据 B B B出现的概率。
- 因此， P ( B ∣ A ) P ( B ) \frac{P(B|A)}{P(B)} P(B)P(B∣A)可以被看作是一个标准化的似然概率。如果该值大于1，说明边缘概率 B B B的引入，增大 A A A的发生概率 P ( B ∣ A ) P ( B ) P ( A ) > P ( A ) \frac{P(B|A)}{P(B)}P(A)>P(A) P(B)P(B∣A)P(A)>P(A)；反之，减少 A A A的发生概率 P ( B ∣ A ) P ( B ) P ( A ) < P ( A ) \frac{P(B|A)}{P(B)}P(A)<P(A) P(B)P(B∣A)P(A)<P(A)。
推导过程
- 根据条件概率公式，有
P ( A ∣ B ) = P ( A , B ) P ( B ) P(A|B)=\frac{P(A,B)}{P(B)} P(A∣B)=P(B)P(A,B)
P ( B ∣ A ) = P ( A , B ) P ( A ) P(B|A)=\frac{P(A,B)}{P(A)} P(B∣A)=P(A)P(A,B) - 按照上述等式，有
P ( A , B ) = P ( A ∣ B ) P ( B ) = P ( B ∣ A ) P ( A ) P(A,B)=P(A|B)P(B)=P(B|A)P(A) P(A,B)=P(A∣B)P(B)=P(B∣A)P(A) - 进一步推导，有
P ( A ∣ B ) = P ( B ∣ A ) P ( B ) P ( A ) P(A|B)=\frac{P(B|A)}{P(B)}P(A) P(A∣B)=P(B)P(B∣A)P(A) - 根据全概率公式，将 P ( B ) = ∑ i P ( B ∣ A i ) P ( A i ) P(B)=\sum_i{P(B|A_i)P(A_i)} P(B)=∑iP(B∣Ai)P(Ai)带入，贝叶斯公式有一种新的形式
P ( A ∣ B ) = P ( B ∣ A ) P ( B ) P ( A ) = P ( B ∣ A ) ∑ i P ( B ∣ A i ) P ( A i ) P ( A ) P(A|B)=\frac{P(B|A)}{P(B)}P(A)=\frac{P(B|A)}{\sum_i{P(B|A_i)P(A_i)}}P(A) P(A∣B)=P(B)P(B∣A)P(A)=∑iP(B∣Ai)P(Ai)P(B∣A)P(A)
贝叶斯公式应用案例
假设M国有10000人，有100个罪犯，9900个正常人。罪犯零元购的概率是90%，正常人零元购的概率是5%。现在发生一起零元购事件，请问是正常人零元购的概率是多少？
- 首先有两个事件，分别是罪犯或正常人事件A，以及零元购事件B
- 求解目标： P ( A = 正常人 ∣ B ) P(A=正常人|B) P(A=正常人∣B)，代入贝叶斯公式，有 P ( A = 正常人 ∣ B ) = P ( B ∣ A = 正常人 ) P ( B ∣ A = 正常人 ) P ( A = 正常人 ) + P ( B ∣ A = 罪犯 ) P ( A = 罪犯 ) P ( A = 正常人 ) P(A=正常人|B)=\frac{P(B|A=正常人)}{P(B|A=正常人)P(A=正常人)+P(B|A=罪犯)P(A=罪犯)}P(A=正常人) P(A=正常人∣B)=P(B∣A=正常人)P(A=正常人)+P(B∣A=罪犯)P(A=罪犯)P(B∣A=正常人)P(A=正常人)
- 已知：
- 正常人零元购概率是5%，等价于 P ( B ∣ A = 正常人 ) = 0.05 P(B|A=正常人)=0.05 P(B∣A=正常人)=0.05
- 罪犯零元购概率是80%，等价于 P ( B ∣ A = 罪犯 ) = 0.9 P(B|A=罪犯)=0.9 P(B∣A=罪犯)=0.9
- M国有10000人，有100个罪犯，9900个正常人，等价于 P ( A = 罪犯 ) = 100 10000 = 0.01 P(A=罪犯)=\frac{100}{10000}=0.01 P(A=罪犯)=10000100=0.01， P ( A = 正常人 ) = 9900 10000 = 0.99 P(A=正常人)=\frac{9900}{10000}=0.99 P(A=正常人)=100009900=0.99
- 求解贝叶斯公式： P ( A = 正常人 ∣ B ) = P ( B ∣ A = 正常人 ) P ( B ∣ A = 正常人 ) P ( A = 正常人 ) + P ( B ∣ A = 罪犯 ) P ( A = 罪犯 ) P ( A = 正常人 ) = 0.05 0.05 ∗ 0.99 + 0.9 ∗ 0.01 ∗ 0.99 = 0.8461 \begin{equation}\begin{aligned} P(A=正常人|B) &= \frac{P(B|A=正常人)}{P(B|A=正常人)P(A=正常人)+P(B|A=罪犯)P(A=罪犯)}P(A=正常人) \\ &=\frac{0.05}{0.05*0.99+0.9*0.01}*0.99=0.8461 \end{aligned} \end{equation} P(A=正常人∣B)=P(B∣A=正常人)P(A=正常人)+P(B∣A=罪犯)P(A=罪犯)P(B∣A=正常人)P(A=正常人)=0.05∗0.99+0.9∗0.010.05∗0.99=0.8461 从计算的结果来看，尽管正常人零元购可能性较低，但正常人占比多，所以正常人零元购的概率还是很大的。