从0开始深度学习(3)——概率

1 基本概率论

  • 大数定律(law of large numbers):随着投掷次数的增加,这个估计值会越来越接近真实的潜在概率。
  • 从概率分布中抽取样本的过程称为抽样(sampling)
  • 将概率分配给一些离散选择的分布称为多项分布(multinomial distribution)

1.1 概率论公理

概率(probability)可以被认为是将集合映射到真实值的函数。
在给定的样本空间
S
中,事件A 的概率, 表示为P(A) ,满足以下属性:

1.2 随机变量

  • 离散随机变量(discrete random variable) :取值为有限个或可数无限个值的随机变量称为离散随机变量。这些值通常是整数或有限范围内的离散点。例如:抛硬币的次数、骰子的点数、某段时间内到达的顾客数量等

  • 连续随机变量(continuous random variable) :取值为实数区间上的任何值的随机变量称为连续随机变量。这些值通常是无限可分的,并且可以在一定范围内取任意值。例如:一个人的身高、重量、温度测量等

  • 概率密度函数(Probability Density Function, PDF):描述连续随机变量的概率分布的一种函数,例如:用身高举例,PDF通常是指在一个特定人群中随机选取一个人的身高落在某个区间内的概率

2 处理多个随机变量

2.1 联合概率(joint probability)

指的是两个或多个事件同时发生的概率。如果我们将这些事件记作A和B,则联合概率P(A, B)表示事件A和事件B共同发生的概率。

2.2 条件概率(conditional probability)

指的是给定另一个事件已经发生的条件下,某个事件发生的概率。条件概率通常用符号 P(A∣B)表示,读作"在事件B发生的条件下事件A发生的概率"。

2.3贝叶斯定理


2.4 边际化(Marginalization)

指从联合概率分布中去除一个或多个随机变量的过程。

边际化的一个常见用途是从联合概率分布中提取单个变量或一组变量的概率分布。这通常通过求和 (对于离散变量)或积分 (对于连续变量)来实现,从而消除掉我们不感兴趣的变量。

边际化结果的概率或分布称为边际概率(marginal probability) 或边际分布(marginal distribution)。

2.5 独立性

如果两个随机变量A和B是独立的,意味着事件A的发生跟事件B的发生无关

3 期望与方差

3.1 期望(Expected Value)

指重复进行大量相同的试验时,随机变量的观测值的平均值。

3.1.1 对于离散随机变量X

3.2.1 对于连续随机变量X

3.2 方差(Variance)

方差是衡量随机变量与其期望值之间偏差平方的平均值

PS:

方差的平方根被称为标准差(standard deviation)

相关推荐
attitude.x5 分钟前
PyTorch 动态图的灵活性与实用技巧
前端·人工智能·深度学习
骥龙36 分钟前
XX汽集团数字化转型:全生命周期网络安全、数据合规与AI工业物联网融合实践
人工智能·物联网·web安全
zskj_qcxjqr42 分钟前
告别传统繁琐!七彩喜艾灸机器人:一键开启智能养生新时代
大数据·人工智能·科技·机器人
Ven%1 小时前
第一章 神经网络的复习
人工智能·深度学习·神经网络
研梦非凡1 小时前
CVPR 2025|基于视觉语言模型的零样本3D视觉定位
人工智能·深度学习·计算机视觉·3d·ai·语言模型·自然语言处理
Monkey的自我迭代1 小时前
多目标轮廓匹配
人工智能·opencv·计算机视觉
每日新鲜事1 小时前
Saucony索康尼推出全新 WOOOLLY 运动生活羊毛系列 生动无理由,从专业跑步延展运动生活的每一刻
大数据·人工智能
空白到白1 小时前
机器学习-聚类
人工智能·算法·机器学习·聚类
中新赛克2 小时前
双引擎驱动!中新赛克AI安全方案入选网安创新大赛优胜榜单
人工智能·安全
飞哥数智坊2 小时前
解决AI幻觉,只能死磕模型?OpenAI给出不一样的思路
人工智能·openai