从0开始深度学习(3)——概率

1 基本概率论

  • 大数定律(law of large numbers):随着投掷次数的增加,这个估计值会越来越接近真实的潜在概率。
  • 从概率分布中抽取样本的过程称为抽样(sampling)
  • 将概率分配给一些离散选择的分布称为多项分布(multinomial distribution)

1.1 概率论公理

概率(probability)可以被认为是将集合映射到真实值的函数。
在给定的样本空间
S
中,事件A 的概率, 表示为P(A) ,满足以下属性:

1.2 随机变量

  • 离散随机变量(discrete random variable) :取值为有限个或可数无限个值的随机变量称为离散随机变量。这些值通常是整数或有限范围内的离散点。例如:抛硬币的次数、骰子的点数、某段时间内到达的顾客数量等

  • 连续随机变量(continuous random variable) :取值为实数区间上的任何值的随机变量称为连续随机变量。这些值通常是无限可分的,并且可以在一定范围内取任意值。例如:一个人的身高、重量、温度测量等

  • 概率密度函数(Probability Density Function, PDF):描述连续随机变量的概率分布的一种函数,例如:用身高举例,PDF通常是指在一个特定人群中随机选取一个人的身高落在某个区间内的概率

2 处理多个随机变量

2.1 联合概率(joint probability)

指的是两个或多个事件同时发生的概率。如果我们将这些事件记作A和B,则联合概率P(A, B)表示事件A和事件B共同发生的概率。

2.2 条件概率(conditional probability)

指的是给定另一个事件已经发生的条件下,某个事件发生的概率。条件概率通常用符号 P(A∣B)表示,读作"在事件B发生的条件下事件A发生的概率"。

2.3贝叶斯定理


2.4 边际化(Marginalization)

指从联合概率分布中去除一个或多个随机变量的过程。

边际化的一个常见用途是从联合概率分布中提取单个变量或一组变量的概率分布。这通常通过求和 (对于离散变量)或积分 (对于连续变量)来实现,从而消除掉我们不感兴趣的变量。

边际化结果的概率或分布称为边际概率(marginal probability) 或边际分布(marginal distribution)。

2.5 独立性

如果两个随机变量A和B是独立的,意味着事件A的发生跟事件B的发生无关

3 期望与方差

3.1 期望(Expected Value)

指重复进行大量相同的试验时,随机变量的观测值的平均值。

3.1.1 对于离散随机变量X

3.2.1 对于连续随机变量X

3.2 方差(Variance)

方差是衡量随机变量与其期望值之间偏差平方的平均值

PS:

方差的平方根被称为标准差(standard deviation)

相关推荐
coding消烦员7 分钟前
新版 vscode 去除快捷键 Ctrl+I 显示 Copilot 的 AI 对话框
人工智能·vscode·copilot
周杰伦_Jay22 分钟前
【自动驾驶开源仿真平台】Carla、AirSim、Udacity self-driving-car-sim、Apollo、Autoware。
人工智能·机器学习·自动驾驶
牛奶还是纯的好1 小时前
双目测距实战5-立体矫正
人工智能·3d
无风听海1 小时前
神经网络之窗口大小对词语义向量的影响
人工智能·深度学习·神经网络
sali-tec1 小时前
C# 基于halcon的视觉工作流-章52-生成标定板
开发语言·图像处理·人工智能·算法·计算机视觉
IT古董1 小时前
【第五章:计算机视觉-项目实战之推荐/广告系统】2.粗排算法-(4)粗排算法模型多目标算法(Multi Task Learning)及目标融合
人工智能·算法·1024程序员节
newxtc2 小时前
【江苏政务服务网-注册_登录安全分析报告】
人工智能·安全·yolo·政务·1024程序员节·安全爆破
rengang662 小时前
013-Spring AI Alibaba Studio 功能完整案例
人工智能·spring·spring ai·ai应用编程
Tiandaren2 小时前
自用提示词02 || Prompt Engineering || RAG数据切分 || 作用:通过LLM将文档切分成chunks
数据库·pytorch·深度学习·oracle·prompt·rag
勿在浮沙筑高台2 小时前
海龟交易系统R
前端·人工智能·r语言