浅谈贝叶斯定理

引言

贝叶斯定理用于确定事件的条件概率。它以一位英国统计学家的名字命名，托马斯·贝叶斯他在1763年发现了这个公式。贝叶斯定理是数学中一个非常重要的定理，它为一种独特的统计推断方法奠定了基础。贝氏推论它用于根据可能与事件相关的条件的先验知识，找出事件的概率。

概述

例如，如果我们想找出随机抽取的白色弹珠来自第一个袋子的概率，假设已经抽取了一个白色弹珠，并且有三个袋子，每个袋子里都有一些白色和黑色的弹珠，然后我们可以使用贝叶斯定理。

我们将探讨了贝叶斯定理，包括它的陈述，证明，推导，定理的公式，以及它的应用。

什么是贝叶斯定理

当事件B已经发生时，贝叶斯定理（也称为贝叶斯规则 或贝叶斯定律 ）用于确定事件A的条件概率。

贝叶斯定理的一般陈述是给定另一事件B的发生，事件A的条件概率等于给定A的B的事件与A的概率除以事件B的概率的乘积。即 P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)

说明：

P ( A ) P(A) P(A)和 P ( B ) P(B) P(B)：事件A和B的概率， P ( B ) P(B) P(B)永远不会等于零。
P ( A ∣ B ) P(A|B) P(A∣B)：当事件B发生时，事件A发生的概率
P ( B ∣ A ) P(B|A) P(B∣A)：是当A发生时事件B的概率

贝叶斯定理陈述

n n n个事件集合的贝叶斯定理被定义为，

让 E 1 , E 2 , ... , E n E_1,E_2,\dots,E_n E1,E2,...,En是与样本空间S相关联的一组事件，其中所有事件 E 1 , E 2 , ... , E n E_1,E_2,\dots,E_n E1,E2,...,En具有非零发生概率。所有事件 E 1 , E 2 , ... , E n E_1,E_2,\dots,E_n E1,E2,...,En形成样本空间S

的分区。设A是空间S中的一个事件，我们必须找出它的概率，那么根据贝叶斯定理，
P ( E i ∣ A ) = P ( E i ) P ( A ∣ E i ) ∑ P ( E k ) P ( A ∣ E k ) P(E_i|A)=\frac{P(E_i)P(A|E_i)}{\sum P(E_k) P(A|E_k)} P(Ei∣A)=∑P(Ek)P(A∣Ek)P(Ei)P(A∣Ei)

其中， k = 1 , 2 , 3 , ... , n k=1,2,3,\dots,n k=1,2,3,...,n

贝叶斯定理公式

对于任意两个事件A和B，则贝叶斯定理的公式为：（下面给出的图像给出了贝叶斯定理公式）： P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)

说明：

P ( A ) P(A) P(A)和 P ( B ) P(B) P(B)：事件A和B的概率， P ( B ) P(B) P(B)永远不会等于零。
P ( A ∣ B ) P(A|B) P(A∣B)：当事件B发生时，事件A发生的概率
P ( B ∣ A ) P(B|A) P(B∣A)：是当A发生时事件B的概率

贝叶斯定理有关术语

在详细学习了贝叶斯定理之后，让我们了解一些与我们在公式和推导中涉及的概念相关的重要术语。

假设
- 样本空间中发生的事件 E 1 , E 2 , ... , E n E_1,E_2,\dots,E_n E1,E2,...,En被称为假设。
先验概率
- 先验概率是在考虑任何新数据之前事件发生的初始概率。 P ( E i ) P(E_i) P(Ei)是假设E的先验概率我.
后验概率
- 后验概率是在考虑新信息之后事件的更新概率。概率 P ( E i ∣ A ) P(E_i|A) P(Ei∣A)被认为是假设E的后验概率我.

条件概率

基于另一事件B的发生的事件A的概率称为条件概率.
它被表示为 P ( A ∣ B ) P(A|B) P(A∣B)并且表示当事件B已经发生时A的概率。

联合概率

当测量两个以上事件同时发生的概率时，将其标记为联合概率。对于两个事件A和B，用联合概率表示为， P ( A ∩ B ) P(A\cap B) P(A∩B)。

随机变量

可能值由随机试验确定的实值变量称为随机变量。找到这些变量的概率就是实验概率。

贝叶斯定理应用

贝叶斯推理在医学、科学、哲学、工程、体育、法律等领域都有重要的应用，而贝叶斯推理是由贝叶斯定理直接导出的。
示例：贝叶斯定理通过考虑一个人患病的可能性以及测试的总体准确性来定义医学测试的准确性。

条件概率与贝叶斯定理的区别

条件概率和贝叶斯定理之间的区别可以通过下表来理解。

贝叶斯定理	条件概率
贝叶斯定理是利用条件概率的定义推导出来的。用于求逆概率。	条件概率是当事件B已经发生时，事件A发生的概率。
公式： P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)	公式： P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A\mid B)=\frac{P(A\cap B)}{P(B)} P(A∣B)=P(B)P(A∩B)

全概率定理

让 E 1 , E 2 , ... , E n E_1,E_2,\dots,E_n E1,E2,...,En是与随机实验相关的互斥和穷举事件，设 E E E是与某个 E i E_i Ei一起发生的事件。那就证明： P ( E ) = ∑ i = 1 n P ( E / E i ) ⋅ P ( E i ) P(E)=\sum_{i=1}^n P(E/E_i) \cdot P(E_i) P(E)=∑i=1nP(E/Ei)⋅P(Ei)
证明过程如下：
- 假设 S S S为样本空间，然后 S = E 1 ∪ E 2 ∪ E 3 ∪ ⋯ ∪ E n S=E_1\cup E_2\cup E_3 \cup \dots \cup E_n S=E1∪E2∪E3∪⋯∪En，并且 E i ∩ E j = ∅ ( i ≠ j ) E_i \cap E_j = \emptyset (i \neq j) Ei∩Ej=∅(i=j)
  { E = E ∩ S = E ∩ ( E 1 ∪ E 2 ∪ E 3 ∪ ⋯ ∪ E n ) = ( E ∩ E 1 ) ∪ ( E ∩ E 2 ) ∪ ( E ∩ E 3 ) ∪ ⋯ ∪ ( E ∩ E n ) P ( E ) = P ( E ∩ E 1 ) ∪ ( E ∩ E 2 ) ∪ ( E ∩ E 3 ) ∪ ⋯ ∪ ( E ∩ E n ) 注：两两不交，即两个集合中的任意两个元素都不相交。 = P ( E / E 1 ) ⋅ P ( E 1 ) + P ( E / E 2 ) ⋅ P ( E 2 ) + P ( E / E 3 ) ⋅ P ( E 3 ) + ⋯ + P ( E / E n ) ⋅ P ( E n ) = ∑ i = 1 n P ( E / E i ) ⋅ P ( E i ) 注：乘法定理 \begin{cases}\begin{aligned} E &= E \cap S \\ &= E\cap (E_1\cup E_2\cup E_3 \cup \dots \cup E_n)\\ &=(E\cap E_1) \cup (E\cap E_2) \cup (E\cap E_3) \cup \dots \cup (E\cap E_n)\\\\ P(E) &= P{(E\cap E_1) \cup (E\cap E_2) \cup (E\cap E_3) \cup \dots \cup (E\cap E_n)} \quad注：两两不交，即两个集合中的任意两个元素都不相交。 \\ &=P(E/E_1)\cdot P(E_1)+P(E/E_2)\cdot P(E_2)+P(E/E_3)\cdot P(E_3)+\dots+P(E/E_n)\cdot P(E_n)\\ &= \sum_{i=1}^n P(E/E_i)\cdot P(E_i) \quad注：乘法定理 \end{aligned}\end{cases} ⎩ ⎨ ⎧EP(E)=E∩S=E∩(E1∪E2∪E3∪⋯∪En)=(E∩E1)∪(E∩E2)∪(E∩E3)∪⋯∪(E∩En)=P(E∩E1)∪(E∩E2)∪(E∩E3)∪⋯∪(E∩En)注：两两不交，即两个集合中的任意两个元素都不相交。=P(E/E1)⋅P(E1)+P(E/E2)⋅P(E2)+P(E/E3)⋅P(E3)+⋯+P(E/En)⋅P(En)=i=1∑nP(E/Ei)⋅P(Ei)注：乘法定理

贝叶斯定理推导

贝叶斯定理的证明如下：根据条件概率公式， P ( E i ∣ A ) = P ( E i ∩ A ) P ( A ) P(E_i|A)=\frac{P(E_i\cap A)}{P(A)}\quad P(Ei∣A)=P(A)P(Ei∩A) (方程I)

然后，通过使用概率的乘法规则，我们得到： P ( E i ∩ A ) = P ( E i ) P ( A ∣ E i ) P(E_i \cap A)=P(E_i)P(A|E_i)\quad P(Ei∩A)=P(Ei)P(A∣Ei) (方程II)

根据全概率定理，得： P ( A ) = ∑ P ( E k ) P ( A ∣ E k ) P(A)=\sum P(E_k) P(A|E_k)\quad P(A)=∑P(Ek)P(A∣Ek) (方程III)

代入 P ( E i ∩ A ) P(E_i \cap A) P(Ei∩A)和 P ( A ) P(A) P(A)从方程（II）和方程（III）在方程（I）中我们得到： P ( E i ∣ A ) = P ( E i ) P ( A ∣ E i ) ∑ P ( E k ) P ( A ∣ E k ) P(E_i|A)=\frac{P(E_i)P(A|E_i)}{\sum P(E_k) P(A|E_k)} P(Ei∣A)=∑P(Ek)P(A∣Ek)P(Ei)P(A∣Ei)

贝叶斯定理也被称为"原因"的概率公式。我们知道， E i E_i Ei是样本空间S的一个分区，在任何给定时间， E i E_i Ei只发生一个事件。因此，我们得出结论，贝叶斯定理公式给出了特定 E i E_i Ei的概率，假设事件A已经发生。

结论

贝叶斯定理提供了一个强大的框架，用于根据新的证据或信息更新假设的概率。通过整合先验知识并用观测数据对其进行更新，贝叶斯定理可以在广泛的领域（包括统计、机器学习、医学和金融）中做出更准确、更明智的决策。其应用范围从医疗诊断和风险评估到垃圾邮件过滤和自然语言处理。
理解和应用贝叶斯定理使我们能够做出更好的预测，估计不确定性，并从数据中得出有意义的见解，最终增强我们在复杂和不确定的情况下做出明智决策的能力。

贝叶斯定理常见问题

什么是贝叶斯定理？
贝叶斯定理，顾名思义，是一个数学定理，用来找出一个事件的条件性概率。条件概率是事件在未来发生的概率。它是根据事件的先前结果计算的。
什么时候使用贝叶斯定理？
贝叶斯定理具有广泛的应用，特别是在处理基于新数据的更新概率的领域。贝叶斯规则允许您计算后验（或更新）概率。它用于计算事件的条件概率。
理解贝叶斯定理的一些关键术语是什么？
一些关键术语是先验概率、后验概率、可能性、边际概率。
先验概率： P ( A ) P(A) P(A)
后验概率： P ( A ∣ B ) P(A\mid B) P(A∣B)
可能性： P ( B ∣ A ) P(B\mid A) P(B∣A)
边际概率： P ( B ) P(B) P(B)
什么时候使用贝叶斯定理？
贝叶斯定理适用于当事件的条件概率给定时，用它来求事件的逆概率。
贝叶斯定理与条件概率有何不同？
贝叶斯定理用于根据事件的先前条件来定义事件的概率。然而，贝叶斯定理使用条件概率来寻找事件的反向概率。
贝叶斯定理的公式是什么？
下面解释贝叶斯定理公式，即 P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( A ) P(A\mid B)=\frac{P(B|A)P(A)}{P(A)} P(A∣B)=P(A)P(B∣A)P(A)