ML 系列:机器学习和深度学习的深层次总结( 20)— 离散概率分布 (Bernoulli 分布)

一、说明

离散概率分布,最早的杰出任务是贝努力,而贝努力分布是最早的离散概率模型,至今依然是重要的概率理论,在物理学的热力学、量子理论均有巨大意义。

雅各布·伯努利 (Jacob Bernoulli) 是一位杰出的数学家,来自著名的瑞士伯努利家族。他生活在 1655 年至 1705 年(50 岁)之间。他对数学的贡献包括微积分、概率论和伯努利分布的发展方面的重大进步。

二、贝努力分布

什么是伯努利分布:

  • 伯努利分布是二元随机变量的概率分布函数。
  • 伯努利分布是一种离散概率分布,其中伯努利随机变量只能有 0 或 1 作为结果。p 是成功的概率,1 --- p 是失败的概率。伯努利分布的均值为 E[X] = p,方差为 Var[X] = p(1-p)。
  • 表示仅采用两种可能结果(例如,成功或失败、正面或反面)的随机变量。
  • 由单个参数 p 表示成功概率。

伯努利分布表

伯努利分布是为二进制随机变量 X 定义的,该变量可以取值 0 和 1。分布表如下:

图 1.Bernoulli 分布表

伯努利随机变量 X 的概率质量函数 (PMF) 由下式给出:

以下是公式如何简化 p 的特定值:

  1. 当 p = 0 时:

对于 x = 0:

对于 x = 1:

所以,分布表如图 1 所示。

  1. 当 p = 1 时:

对于 x = 0:

对于 x = 1:

所以,分布表如图 1 所示。

伯努利分布的期望值和方差

对于参数为 p 的伯努利随机变量 X:

1. 期望(平均值):

伯努利随机变量的期望值 E(X) 由下式给出:

伯努利分布的期望值或均值只是 X 取值 1 的概率 p。

2. 方差:

伯努利随机变量的方差 Var(X) 由下式给出:

方差度量分布的散布,并取决于 p 和 1 --- p,反映结果 0 和 1 的可变性。

三、示例:计算机失败的概率

考虑一台机器,它在运行的第一个月内出现故障的概率为 2%。这可以使用 Bernoulli 分布进行建模,其中:

  • X= 1,如果计算机在第一个月内出现故障。
  • X= 0 如果计算机在第一个月内没有出现故障。

机器失败的概率 p 为 0.02。

1. 概率分布函数

此伯努利分布的概率分布函数 (PDF) 为:

代入 p = 0.02:

因此,分发表为:

概率分布函数 显示,机器在第一个月内没有出现故障的概率为 0.98 ,出现故障的概率为 0.02

2. 数学期望(平均值)

伯努利随机变量的期望值 EX) 由下式给出:

对于我们的示例,p = 0.02:

计算机在第一个月内出现故障的平均值或预期值为 0.02,这表明平均而言,预计有 2% 的计算机在此时间范围内出现故障。

3. 方差

伯努利随机变量的方差 Var(X) 由下式给出:

对于我们的示例,p = 0.02:

0.0196 的方差表示结果围绕平均值的分布,反映了机器是否失效的可变性。

对于 p=0.02 的伯努利分布示例,我们有以下概率质量函数 (PMF):

让我们绘制这个 PMF 来可视化分布。我们将使用 Python 和 matplotlib 库进行绘图。这是代码:

bb 复制代码
import matplotlib.pyplot as plt
import numpy as np

# Define the values of x
x_values = [0, 1]

# Define the probability for each value of x
p = 0.02
pmf = [p**x * (1 - p)**(1 - x) for x in x_values]

# Plot the distribution
plt.bar(x_values, pmf, color='skyblue')
plt.xticks(x_values)
plt.xlabel('X')
plt.ylabel('Probability')
plt.title('Bernoulli Distribution (p=0.02)')
plt.grid(True)
plt.show()

此代码将生成一个条形图,表示 p = 0.02 的伯努利分布。

四、结论

在机器学习系列的第20讲,我们深入研究了伯努利分布,这是各种统计应用中使用的基本离散概率分布之一。继续,我们将重点转移到二项分布,探索其特性和在机器学习领域的应用。

相关推荐
无水先生6 小时前
ML 系列:机器学习和深度学习的深层次总结( 19)— PMF、PDF、平均值、方差、标准差
概率论
卡洛驰17 小时前
交叉熵损失函数详解
人工智能·深度学习·算法·机器学习·ai·分类·概率论
Ricciflows2 天前
分析学大师Elias M. Stein的分析系列教材
线性代数·数学建模·矩阵·概率论·抽象代数·拓扑学·傅立叶分析
乔大将军2 天前
数理统计(第4章第2节:2元方差分析)
概率论
爱代码的小黄人5 天前
数学期望和联合概率密度
概率论
VisionX Lab5 天前
视频批量裁剪工具
音视频·概率论
无水先生5 天前
ML 系列:第 18 部 - 高级概率论:条件概率、随机变量和概率分布
概率论
AnitasCat6 天前
VAE原理及代码实现
人工智能·机器学习·概率论
小金刚®6 天前
(前瞻篇)机器学习与深度学习对比
python·分类·回归·开源·概率论·1024程序员节