从0开始深度学习(3)——概率

1 基本概率论

  • 大数定律(law of large numbers):随着投掷次数的增加,这个估计值会越来越接近真实的潜在概率。
  • 从概率分布中抽取样本的过程称为抽样(sampling)
  • 将概率分配给一些离散选择的分布称为多项分布(multinomial distribution)

1.1 概率论公理

概率(probability)可以被认为是将集合映射到真实值的函数。
在给定的样本空间
S
中,事件A 的概率, 表示为P(A) ,满足以下属性:

1.2 随机变量

  • 离散随机变量(discrete random variable) :取值为有限个或可数无限个值的随机变量称为离散随机变量。这些值通常是整数或有限范围内的离散点。例如:抛硬币的次数、骰子的点数、某段时间内到达的顾客数量等

  • 连续随机变量(continuous random variable) :取值为实数区间上的任何值的随机变量称为连续随机变量。这些值通常是无限可分的,并且可以在一定范围内取任意值。例如:一个人的身高、重量、温度测量等

  • 概率密度函数(Probability Density Function, PDF):描述连续随机变量的概率分布的一种函数,例如:用身高举例,PDF通常是指在一个特定人群中随机选取一个人的身高落在某个区间内的概率

2 处理多个随机变量

2.1 联合概率(joint probability)

指的是两个或多个事件同时发生的概率。如果我们将这些事件记作A和B,则联合概率P(A, B)表示事件A和事件B共同发生的概率。

2.2 条件概率(conditional probability)

指的是给定另一个事件已经发生的条件下,某个事件发生的概率。条件概率通常用符号 P(A∣B)表示,读作"在事件B发生的条件下事件A发生的概率"。

2.3贝叶斯定理


2.4 边际化(Marginalization)

指从联合概率分布中去除一个或多个随机变量的过程。

边际化的一个常见用途是从联合概率分布中提取单个变量或一组变量的概率分布。这通常通过求和 (对于离散变量)或积分 (对于连续变量)来实现,从而消除掉我们不感兴趣的变量。

边际化结果的概率或分布称为边际概率(marginal probability) 或边际分布(marginal distribution)。

2.5 独立性

如果两个随机变量A和B是独立的,意味着事件A的发生跟事件B的发生无关

3 期望与方差

3.1 期望(Expected Value)

指重复进行大量相同的试验时,随机变量的观测值的平均值。

3.1.1 对于离散随机变量X

3.2.1 对于连续随机变量X

3.2 方差(Variance)

方差是衡量随机变量与其期望值之间偏差平方的平均值

PS:

方差的平方根被称为标准差(standard deviation)

相关推荐
tle_sammy1 分钟前
AI 重构老旧系统:创业新曙光
人工智能·重构
果冻人工智能3 分钟前
什么是 MCP,以及你为什么该关注它
人工智能
誉鏐8 分钟前
PyTorch复现逻辑回归
人工智能·pytorch·逻辑回归
正脉科工 CAE仿真10 分钟前
基于ANSYS 概率设计和APDL编程的结构可靠性设计分析
人工智能·python·算法
EasyGBS16 分钟前
视频设备轨迹回放平台EasyCVR打造视频智能融合新平台,驱动智慧机场迈向数字新时代
网络·人工智能·安全·音视频
Chaos_Wang_21 分钟前
NLP高频面试题(三十三)——Vision Transformer(ViT)模型架构介绍
人工智能·自然语言处理·transformer
新知图书34 分钟前
OpenCV单窗口显示多图片
人工智能·opencv·计算机视觉
荷包蛋蛋怪36 分钟前
【北京化工大学】 神经网络与深度学习 实验6 MATAR图像分类
人工智能·深度学习·神经网络·opencv·机器学习·计算机视觉·分类
小马哥编程38 分钟前
【软测】AI助力测试用例
人工智能·测试用例
与火星的孩子对话1 小时前
Unity3D开发AI桌面精灵/宠物系列 【三】 语音识别 ASR 技术、语音转文本多平台 - 支持科大讯飞、百度等 C# 开发
人工智能·unity·c#·游戏引擎·语音识别·宠物