神经网络|(六)概率论基础知识-全概率公式

【1】引言

在前序学习进程中,我们已经对条件概率做了分析,知晓了古典概型下,求某个条件下某事件发生的概率,应该是计算促成条件发生的事件和要求的某事件都发生的综合概率。

再次回忆一下条件概率的定义:

条件概率就是在A事件已经发生的条件下,B事件发生的概率。

设A、B是两个事件,且P(A)>0,A事件发生的条件下B事件发生的条件概率为:

上式很容易推出新表达式:P(AB)=P(B|A)P(A)

根据新的表达式,我们做进一步拓展:如果所有A事件本身就是一个古典概型的全部,也就是单独的P(A)=1,那P(AB)可以理解为就是P(B)。这个拓展就是全概率公式。

【2】全概率公式

为说明全概率公式,首先回忆古典概型的示例:投币游戏,任何一次投币正面朝上的概率都是1/2,问:前两次投币正面朝上,但第三次投币反面朝上的概率?

已知三次投币的所有可能情况:

【正正正,正正反,正反正,正反反,反正正,反正反,反反正,反反反】

所以,前两次投币正面朝上,但第三次投币反面朝上只有一种情况,是1/8

在熟悉古典概型的前提下,如果又掌握了条件概率,也可以算出:

P(正正反)=P(反|正正)P(正正)=P(反|正正)P(正|正)P(正)=(1/2)(1/2)(1/2)=1/8。

上述两种计算方法中,都是因为单次试验的概率已经确切知晓:无论正反都是1/2。

在第一种举例和第二种条件概率的计算方法之外,我们还可以直接使用分步相乘 的原则,第一步正面朝上的概率是1/2,第二步正面朝上的概率是1/2,第三步反面朝上的概率是1/2,综合起来P(正正反)=(1/2)(1/2)(1/2)=1/8。

所以,现在至少找到三种方法计算正正反投币结果的概率:举例法、条件概率法和分布相乘法。

在此基础上,如果不关心前两次投币结果,只在意第三次投币为反的结果,通过举例法可知,一共有四种:【正正反,正反反,反正反,反反反】,而三次投币的所有结果是八种可能,所以第三次投币结果为反的概率是1/2。

实际上,我们本来就知道第三次投币结果为反的概率是1/2,因为这是个简单的古典概型,每一步的概率都确切是1/2。

又举例的目的是:说明当前这个1/2和前面的1/8是在不同条件下得到的。

1/2:不关心前两次投币结果,只在意第三次投币为反

1/8:前两次投币正面朝上,但第三次投币反面

前两次投币的所有可能:【正正,正反,反正,反反】。可见,前两次投币正面朝上,只是前两次投币结果的一种可能。

在此分析基础上,增加标记方法,记第i次投币结果正面朝上为Ai、反面朝上为Bi,则有:

P(A1)=1/2

P(A2)=1/2=P(A2A1)+P(A2B1)=(1/2)(1/2)+(1/2)(1/2)=1/2

P(A3)=1/2=P(A3A2A1)+P(A3A2B1)+P(A3B2A1)+P(A3B2B1)

=(1/2)(1/2)(1/2)+(1/2)(1/2)(1/2)+(1/2)(1/2)(1/2)+(1/2)(1/2)(1/2)

=1/2

如果把前两次投币的所有可能【正正,正反,反正,反反】两两综合起来,只看做一个结果,分别记作C1,C2,C3和C4,很显然P(Ci)=1/4(i=1,2,3,4),此时P(A3)可以写作:

P(A3)=P(A3C1)+P(A3C2)+P(A3C3)+P(A3C4)

=P(A3|C1)P(C1)+P(A3|C1)P(C1)+P(A3|C1)P(C1)+P(A3|C1)P(C1)

=(1/2)(1/4)+(1/2)(1/4)+(1/2)(1/4)+(1/2)(1/4)

=1/2

至此,我们已经获得全概率公式:P(A3)=P(A3C1)+P(A3C2)+P(A3C3)+P(A3C4)

全概率公式相对于条件概率公式,是综合所有条件后得出的。

在条件概率这篇文章中已经知晓:求条件概率,应该就算综合概率,那求全概率,就是综合所有可能得条件,可见全概率是条件概率的扩展。

需要注意的是:全概率、综合的所有条件,应该是彼此互斥但总体互补的关系,它们互不隶属,但总体上能凑成一个完整的试验。

为说明"彼此互斥但总体互补的关系,它们互不隶属,但总体上能凑成一个完整的试验"的意义,用投币两次的可能为例:

上述分析中,将【正正,正反,反正,反反】分别记作C1,C2,C3和C4,很显然P(Ci)=1/4(i=1,2,3,4),C1,C2,C3和C4两两互不隶属,但总体上互补,它们凑起来描述了两次投币的所有可能,它们的总概率加起来=1。

至此,全概率公式写作更通用的形式:

P(A)=P(AB1)+P(AB2)+...++P(ABn)(i=1,2...,Bi代表彼此互斥但总体互补的条件)

【3】总结

回顾了全概率公式的推导过程,了解了全概率的本质意义。全概率公式比条件概率公式的乘法形式内容更丰富,因为全概率公式综合了所有条件,这些条件彼此互斥又总体互补。

相关推荐
西猫雷婶18 小时前
scikit-learn/sklearn学习|广义线性回归损失函数的基本表达式
深度学习·神经网络·学习·机器学习·线性回归·scikit-learn·概率论
xz2024102****3 天前
最大似然估计:损失函数的底层数学原理
人工智能·算法·机器学习·概率论
kingmax542120083 天前
概率与数理统计公式及结论汇总
人工智能·机器学习·概率论
西猫雷婶4 天前
神经网络|(十九)概率论基础知识-伽马函数·下
人工智能·深度学习·神经网络·机器学习·回归·scikit-learn·概率论
西猫雷婶7 天前
神经网络|(十八)概率论基础知识-伽马函数溯源-阶乘的积分表达式
人工智能·深度学习·神经网络·机器学习·概率论
西猫雷婶10 天前
神经网络|(十六)概率论基础知识-伽马函数·中
人工智能·深度学习·神经网络·学习·机器学习·概率论
西西弗Sisyphus11 天前
大模型 多轮对话
语言模型·概率论·知识蒸馏
Jooou12 天前
机器学习:贝叶斯派和频率派
机器学习·概率论·贝叶斯派
simon_skywalker15 天前
概率论基础教程第六章 随机变量的联合分布(二)
概率论
simon_skywalker16 天前
概率论基础教程第5章 连续型随机变量(三)
概率论