ML 系列:机器学习和深度学习的深层次总结( 20)— 离散概率分布 (Bernoulli 分布)

一、说明

离散概率分布,最早的杰出任务是贝努力,而贝努力分布是最早的离散概率模型,至今依然是重要的概率理论,在物理学的热力学、量子理论均有巨大意义。

雅各布·伯努利 (Jacob Bernoulli) 是一位杰出的数学家,来自著名的瑞士伯努利家族。他生活在 1655 年至 1705 年(50 岁)之间。他对数学的贡献包括微积分、概率论和伯努利分布的发展方面的重大进步。

二、贝努力分布

什么是伯努利分布:

  • 伯努利分布是二元随机变量的概率分布函数。
  • 伯努利分布是一种离散概率分布,其中伯努利随机变量只能有 0 或 1 作为结果。p 是成功的概率,1 --- p 是失败的概率。伯努利分布的均值为 E[X] = p,方差为 Var[X] = p(1-p)。
  • 表示仅采用两种可能结果(例如,成功或失败、正面或反面)的随机变量。
  • 由单个参数 p 表示成功概率。

伯努利分布表

伯努利分布是为二进制随机变量 X 定义的,该变量可以取值 0 和 1。分布表如下:

图 1.Bernoulli 分布表

伯努利随机变量 X 的概率质量函数 (PMF) 由下式给出:

以下是公式如何简化 p 的特定值:

  1. 当 p = 0 时:

对于 x = 0:

对于 x = 1:

所以,分布表如图 1 所示。

  1. 当 p = 1 时:

对于 x = 0:

对于 x = 1:

所以,分布表如图 1 所示。

伯努利分布的期望值和方差

对于参数为 p 的伯努利随机变量 X:

1. 期望(平均值):

伯努利随机变量的期望值 E(X) 由下式给出:

伯努利分布的期望值或均值只是 X 取值 1 的概率 p。

2. 方差:

伯努利随机变量的方差 Var(X) 由下式给出:

方差度量分布的散布,并取决于 p 和 1 --- p,反映结果 0 和 1 的可变性。

三、示例:计算机失败的概率

考虑一台机器,它在运行的第一个月内出现故障的概率为 2%。这可以使用 Bernoulli 分布进行建模,其中:

  • X= 1,如果计算机在第一个月内出现故障。
  • X= 0 如果计算机在第一个月内没有出现故障。

机器失败的概率 p 为 0.02。

1. 概率分布函数

此伯努利分布的概率分布函数 (PDF) 为:

代入 p = 0.02:

因此,分发表为:

概率分布函数 显示,机器在第一个月内没有出现故障的概率为 0.98 ,出现故障的概率为 0.02

2. 数学期望(平均值)

伯努利随机变量的期望值 EX) 由下式给出:

对于我们的示例,p = 0.02:

计算机在第一个月内出现故障的平均值或预期值为 0.02,这表明平均而言,预计有 2% 的计算机在此时间范围内出现故障。

3. 方差

伯努利随机变量的方差 Var(X) 由下式给出:

对于我们的示例,p = 0.02:

0.0196 的方差表示结果围绕平均值的分布,反映了机器是否失效的可变性。

对于 p=0.02 的伯努利分布示例,我们有以下概率质量函数 (PMF):

让我们绘制这个 PMF 来可视化分布。我们将使用 Python 和 matplotlib 库进行绘图。这是代码:

bb 复制代码
import matplotlib.pyplot as plt
import numpy as np

# Define the values of x
x_values = [0, 1]

# Define the probability for each value of x
p = 0.02
pmf = [p**x * (1 - p)**(1 - x) for x in x_values]

# Plot the distribution
plt.bar(x_values, pmf, color='skyblue')
plt.xticks(x_values)
plt.xlabel('X')
plt.ylabel('Probability')
plt.title('Bernoulli Distribution (p=0.02)')
plt.grid(True)
plt.show()

此代码将生成一个条形图,表示 p = 0.02 的伯努利分布。

四、结论

在机器学习系列的第20讲,我们深入研究了伯努利分布,这是各种统计应用中使用的基本离散概率分布之一。继续,我们将重点转移到二项分布,探索其特性和在机器学习领域的应用。

相关推荐
佚名ano1 天前
阻尼Newton方法-数值最优化方法-课程学习笔记-5
笔记·学习·概率论
A Runner for leave3 天前
概率论和数理统计知识点汇总——第二章随机变量的分布与数字特征
概率论
jun7788953 天前
正态分布密度函数的基本概念
概率论
孤单网愈云4 天前
11.13机器学习_贝叶斯和决策树
决策树·机器学习·概率论
颹蕭蕭4 天前
均值方差增量计算
算法·均值算法·概率论
阑梦清川4 天前
概率论之常见分布与matlab绘图
开发语言·matlab·概率论
行码棋6 天前
概率论公式整理
概率论
MarkHD7 天前
第十三天 概率论与统计学
概率论
无水先生12 天前
ML 系列赛: 第 22 节 — 离散概率分布 (Multinoulli Distribution)
概率论
qzhqbb12 天前
贝叶斯定理
概率论