概率论-独立同分布

独立同分布(i.i.d.,Independent and Identically Distributed)

随机变量序列中每个变量相互独立服从同一概率分布

维度 说明
独立 每个样本的取值不影响其他样本。例如,抛硬币10次,第5次结果不影响第6次。
同分布 所有样本来自同一个概率分布。例如,抛同一枚公平硬币10次,每次正面概率均为0.5。

例子

  1. 抛硬币

    连续抛掷同一枚公平硬币10次,每次结果独立且正面概率恒为0.5 → 这是i.i.d.。

  2. 非i.i.d.的反例

    • 非独立:第一次抛硬币的结果决定第二次是否抛硬币(如"正面则停止")。
    • 非同分布:前5次用公平硬币,后5次改用正面概率0.8的偏硬币。

扩展

为什么机器学习需要i.i.d.?

  • 训练集与测试集需同分布:若训练数据来自"夏季西瓜",测试数据却是"冬季西瓜",模型会失效(分布偏移)。
  • 理论保证:泛化误差界(如Hoeffding不等式)的推导依赖i.i.d.假设。

真实数据常违反i.i.d.(如时间序列、用户行为随时间变化),此时需领域自适应重加权等技术修正。

相关推荐
BOB_BOB_BOB_4 小时前
【ee类保研面试】数学类---概率论
面试·职场和发展·概率论·保研
Yingjun Mo1 天前
概率论角度: Laplace 算子和分数阶 Laplace 算子
概率论
CS创新实验室2 天前
《机器学习数学基础》补充资料:泰勒定理与余项
人工智能·机器学习·概率论·泰勒定理·泰勒展开·余项
EQUINOX110 天前
如何理解泊松分布
概率论
幻风_huanfeng11 天前
人工智能之数学基础:概率论之韦恩图的应用
概率论·韦恩图
金色光环15 天前
切比雪夫不等式的理解以及推导【超详细笔记】
概率论
幻风_huanfeng16 天前
人工智能之数学基础:概率论和数理统计在机器学习的地位
人工智能·神经网络·线性代数·机器学习·概率论
点云SLAM17 天前
海森矩阵(Hessian Matrix)在SLAM图优化和点云配准中的应用介绍
算法·机器学习·矩阵·机器人·概率论·最小二乘法·数值优化
F_D_Z24 天前
【EM算法】三硬币模型
算法·机器学习·概率论·em算法·极大似然估计